Pentaho 水壶 "Use batch update for Inserts"选项

标签 pentaho kettle

请有人用 Pentaho Kettle Table 输出或更新步骤向我解释“对插入使用批量更新”选项的任何陷阱或缺点吗?我的一位同事的意见是,如果提交大小设置为 1000,并且如果这 1000 条记录中的任何一条未能插入/更新,那么整批 1000 条记录将被忽略更新到该表中。我不知道它是真是假,目前无法自己测试。

如果未启用此选项,但我仍继续使用更高的提交大小(相同的 1000)怎么办?

最佳答案

它实际上只是数据库提交大小。最佳做法是将其设置在 100 到 2000 之间。

如果您将其设置得太小,则会减慢您的转换速度,同样,如果您将其设置得太大,则会减慢您的转换速度,甚至会耗尽内存。您需要调整大小,因为它实际上只是反复试验。

至少在 4.1 中,一旦达到错误记录,无论哪种方式,您的转换都会失败

关于Pentaho 水壶 "Use batch update for Inserts"选项,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/26488465/

相关文章:

javascript - XUL 和 JavaScript

java - 配置pentaho的hdfs-vfs来获取hdfs-site.xml

mongodb - 限制号mongodb 输入中的行数

sequence - 水壶:用无冲突的顺序填充字段

mongodb - 水壶蒙戈_id

testing - 从 pentaho pdi 中的输入表捕获执行的 sql

python - "RecursionError: maximum recursion depth exceeded"来自 ssl.py : `super(SSLContext, SSLContext).options.__set__(self, value)`

pentaho - CSV 时间戳不是 24 小时格式

tomcat - Pentaho Kettle 使用普通的老式 tomcat JNDI

javascript - pentaho mysql 日期时间 javascript 比较