apache-nifi - Nifi 内容存储库未清理并随着时间的推移不断积累

标签 apache-nifi

Nifi 内容存储库在重启后与 Nifi 状态栏同步工作一段时间,Nifi 版本 1.9.1。 之后,它开始逐渐增长,只有在重启时才会再次下降。

我混合了大小文件,并且正在合并文件以在流程中创建大文件。 我可能遇到了一个错误 https://issues.apache.org/jira/browse/NIFI-6150这可能不适用于下面提到的三种情况:

1) 同时拥有小文件和大文件。

2) 合并小文件以创建大文件。我有几个大文件,只有在重新启动后才会消失。

3) 没有任何失败的合并内容在流文件离开流后保留​​流文件数天。

此 Nifi 的数据流量为每天 24 TB,重新启动会造成巨大的延迟。 此外,我已经反编译并看到了用于修复的代码。

最佳答案

目前尚不清楚您运行的是哪个版本的 NiFi,但首先我建议您立即获取最新版本 (1.11.4)。如果您按照暗示的那样以 290MB/秒的速度运行,那么希望这是在一个小型节点集群或一个配置良好且资源充足的节点上。

但正如 JIRA 中所述,您需要一个具有该修复的版本,并且可能需要另一个版本以实现最佳行为。

关于apache-nifi - Nifi 内容存储库未清理并随着时间的推移不断积累,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/61548298/

相关文章:

docker - Nifi : Could not write to StandardFlowfileRecord 中的错误

java - 使用 OPCFoundation/UA-Java 项目的 OPC UA 模拟器工作示例

apache-nifi - nifi 摄取超过 10,000 个传感器数据?

apache-nifi - Nifi DistributedCache查找问题

xml - 证明 XML 在 Nifi 上的格式正确

java - 用于签名验证的 Apache Nifi 处理器

apache - 几小时后 GetTwitter 停止从 Twitter 获取数据

python - Jython 中的日期时间

apache-nifi - 如何用 POST 查询的特定值替换 InvokeHTTP?

hadoop - 将日志文件从边缘节点提取到 Hadoop