java - 将大数据流式传输到 Apache Nifi 中的流文件,无需 OOM

标签 java arrays apache-nifi

我使用 apache nifi 来处理大文件。所以输出的流文件也会很大。这个该如何处理呢?也许使用 session.append(byte []); 或使用一些 /tmpdir 来存储。例如,我的文件是 10Gb,而处理器产生 8Gb,因此 JVM 将因 OOM 失败。

最佳答案

您需要将 JVM 的堆大小设置为足够大来处理此问题(即 bootstrap.conf 中的 -Xmx=20GB)。当然,流媒体方法也将对此有所帮助。看看现有的例子,如 ReplaceText查看如何处理流式传输。

关于java - 将大数据流式传输到 Apache Nifi 中的流文件,无需 OOM,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/48811912/

相关文章:

java - 从两个排序数组的交替元素生成所有可能的排序数组

windows - 在 Windows 上关闭 NiFi

python - Numpy:在 2D bool 数组中逐项快速计算 True 实例

javascript - 使用python从<script>中的javascript var中提取数据

java - Java 中的 C# InvalidEnumArgumentException

java - Java中的static关键字

java - 如何在 GWT 中向客户端发送 XML 文档?

java - 如何解释 Java 线程堆栈?

Php/MYSQl 输出数组的每个值查询的第一个和最后一个结果?