etl - Talend 作业可能存在锁定问题

标签 etl talend

我正在解析一个表中的数据并将其写回到另一个表中。输入是特征,以文本形式编写。输出是一个需要更新的 bool 字段。例如,一个特征是“有 4 轮驱动”,我想将 bool 值 h​​as_4weeldrive 设置为 true。

我正在检查属于汽车的所有特征,如果找到则将其设置为 true,否则设置为 null。 tmap_1 之后的过滤器过滤属性为 true 的行,然后更新表中的行。我想针对所有不同的特征(大约 10 个)执行此操作。

如果我针对一个特征执行此操作,则作业运行良好,一旦我有多个特征,它就仅加载 1 条记录并无限期等待。我当然可以做 10 个工作并且它会运行,但我需要接触所有特性 10 次,这感觉不对。这是锁定问题吗?有一个更好的方法吗?如果有区别的话,目标和源数据库是 Postgresql。

enter image description here

最佳答案

共享连接可能会导致此类问题。 还要确保每次更新后都进行提交。 Talend 使用 1 个线程执行(企业版除外),因此多个共享输出可能会导致问题。

将提交设置为 1 应该可以消除该问题。

关于etl - Talend 作业可能存在锁定问题,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/21305504/

相关文章:

python - 使用 Python-Django 将 CSV 文件导入 PostgreSQL 数据库

python - AWS胶: How to read jdbc source via spark object in SCALA.

TALEND - tmap 组件默认日期

regex - 如何正则表达式并提取新行直到匹配

c# - SSIS 包脚本任务输出文件到新文件夹

Azure 数据工厂管道查询

java.io.IOException : Reason for inactivity is mandatory when insert data on salesforce

java - 使用 Talend Routine 处理 DB null

svn - 从放在 SVN 上的 talend studio 导出 Talend 项目并从 Jenkins 构建它

hadoop - Luigi可以运行远程Hadoop作业吗?