Nifi 内容存储库在重启后与 Nifi 状态栏同步工作一段时间,Nifi 版本 1.9.1。 之后,它开始逐渐增长,只有在重启时才会再次下降。
我混合了大小文件,并且正在合并文件以在流程中创建大文件。 我可能遇到了一个错误 https://issues.apache.org/jira/browse/NIFI-6150这可能不适用于下面提到的三种情况:
1) 同时拥有小文件和大文件。
2) 合并小文件以创建大文件。我有几个大文件,只有在重新启动后才会消失。
3) 没有任何失败的合并内容在流文件离开流后保留流文件数天。
此 Nifi 的数据流量为每天 24 TB,重新启动会造成巨大的延迟。 此外,我已经反编译并看到了用于修复的代码。
最佳答案
目前尚不清楚您运行的是哪个版本的 NiFi,但首先我建议您立即获取最新版本 (1.11.4)。如果您按照暗示的那样以 290MB/秒的速度运行,那么希望这是在一个小型节点集群或一个配置良好且资源充足的节点上。
但正如 JIRA 中所述,您需要一个具有该修复的版本,并且可能需要另一个版本以实现最佳行为。
关于apache-nifi - Nifi 内容存储库未清理并随着时间的推移不断积累,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/61548298/