informatica - 如何提高 informatica 中平面文件的性能

Question

假设我的源系统是一个平面文件，并且它有超过 50M 的记录。它需要 2 小时的时间来运行。如何减少运行时间。您可以在源代码级别实现哪些性能调优技术

Answer 1

让我根据上面的答案尝试一下。 首先检查 session 日志以检查瓶颈在哪里。在日志末尾附近，您将获得以下三个参数的统计信息。
哪个部分 - 源读取、表达式处理、目标加载需要时间。

1. 如果源代码读取需要时间 - 由于这是一个平面文件，我们无法做很多改进。我。我们可以对源代码提取进行分区，以便读取速度更快。二.避免在分隔平面文件的格式属性中添加引号或转义字符。三.如果它是一个简单的文本文件，它的速度很快，但如果它是复杂的文件，如 xml、vsam，则可能需要时间，具体取决于源代码的结构。四.预处理文件并删除不需要的数据。四.数据集成服务每行读取的字节数。配置行顺序缓冲区长度属性。
2. 如果表达需要时间 - i。这将很棘手，但由于映射很简单，因此尝试减少计算等。增加内存中的 DTM 缓冲区大小。三.如果 session 设置为使用高精度，则删除属性。
3. 如果目标负载需要时间 - i。如果目标是平面文件，数据量可能是一个问题，使用第 1 点中的改进就可以了。二.取消链接不需要的列。三.如果目标是表，检查表是否有索引，如果有，则删除它们并在加载后重新创建。四.如果表有更新，检查关键列在数据库中是否有索引。