我使用 apache nifi 来处理大文件。所以输出的流文件也会很大。这个该如何处理呢?也许使用 session.append(byte []);
或使用一些 /tmpdir
来存储。例如,我的文件是 10Gb,而处理器产生 8Gb,因此 JVM 将因 OOM
失败。
最佳答案
您需要将 JVM 的堆大小设置为足够大来处理此问题(即 bootstrap.conf
中的 -Xmx=20GB
)。当然,流媒体方法也将对此有所帮助。看看现有的例子,如 ReplaceText
查看如何处理流式传输。
关于java - 将大数据流式传输到 Apache Nifi 中的流文件,无需 OOM,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/48811912/