java - Talend 中庞大数据集的处理速度缓慢

标签 java talend

我正在使用 tMSSqlSP 从 SQL Server 存储过程中提取数据,该过程以记录集格式返回结果。之后,我将解析记录集并使用 tMap,然后使用 tOracleOutput 将记录插入到 Oracle 表中。

处理速度非常慢(每秒 30 条记录)。

SQL Server 存储过程返回 500k 条记录,这种缓慢的处理需要很长时间才能完成。

有人知道在 Oracle 端加快插入速度的过程吗?

最佳答案

也许您必须在 oracle 中使用批量插入:tOracleOutputBulk 组件。 配置起来比较复杂,但如果您在没有事务的情况下插入一个表,那么它是一个强大的解决方案。

关于java - Talend 中庞大数据集的处理速度缓慢,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/26888760/

相关文章:

mysql - Talend ETL - mySQLInput 组件

hadoop - HDFS和HBase:它是如何工作的?

Java:创建指向同一对象的引用的副本

database - talend连接数据库的方法

automated-tests - 如何在商业智能系统 (BI) 中执行自动化测试

Java Thread ,答案是A怎么来的?

amazon-web-services - Amazon Redshift 中的 ETL 与 ELT

java - Android 中的#ifdef

java - 使用命令行从 Java 调用 git

java - 如果我不断为每个对象返回相同的哈希码,Hashmap 是否会成为链接列表