java - Storm 2.0.0 内存不足

标签 java apache-zookeeper apache-storm

我将代码库从 1.1.1 升级为使用 Storm 2.0.0。现在我观察到,如果我在本地模式下运行拓扑,几分钟后它就会耗尽内存。

[THREAD ID=AsyncLocalizer Executor - 2-EventThread] Dev-APC180-local o.a.s.s.o.a.z.ClientCnxn Error while calling watcher java.lang.OutOfMemoryError: unable to create new native thread at java.lang.Thread.start0(Native Method) at java.lang.Thread.start(Thread.java:717) at org.apache.storm.shade.org.apache.zookeeper.ClientCnxn.start(ClientCnxn.java:421) at org.apache.storm.shade.org.apache.zookeeper.ZooKeeper.(ZooKeeper.java:454) at org.apache.storm.shade.org.apache.curator.utils.DefaultZookeeperFactory.newZooKeeper(DefaultZookeeperFactory.java:29) at org.apache.storm.shade.org.apache.curator.framework.imps.CuratorFrameworkImpl$2.newZooKeeper(CuratorFrameworkImpl.java:213) at org.apache.storm.shade.org.apache.curator.HandleHolder$1.getZooKeeper(HandleHolder.java:101) at org.apache.storm.shade.org.apache.curator.HandleHolder.getZooKeeper(HandleHolder.java:57) at org.apache.storm.shade.org.apache.curator.ConnectionState.reset(ConnectionState.java:204) at org.apache.storm.shade.org.apache.curator.ConnectionState.handleExpiredSession(ConnectionState.java:380) at org.apache.storm.shade.org.apache.curator.ConnectionState.checkState(ConnectionState.java:315) at org.apache.storm.shade.org.apache.curator.ConnectionState.process(ConnectionState.java:169) at org.apache.storm.shade.org.apache.zookeeper.ClientCnxn$EventThread.processEvent(ClientCnxn.java:533) at org.apache.storm.shade.org.apache.zookeeper.ClientCnxn$EventThread.run(ClientCnxn.java:508)

上面是错误的堆栈跟踪。经过更深入的分析,我发现“AsyncLocalizer EventThread”和“AsyncLocalizer SendThread”大约有 5000 个线程。它是由 AsyncLocalizer.updateBlobs 生成的。

AsyncLocalizer.updateBlobs 是每 30 秒运行一次的计划任务。请指出我正确的方向。我不知道我错过了什么。

最佳答案

这很可能是由于 https://issues.apache.org/jira/browse/STORM-3501 。 Blob 清理在 2.0.0 中被破坏,因此主管不断尝试下载实际删除的 Blob。我认为这也会导致它启动大量的 Curator 实例。

关于java - Storm 2.0.0 内存不足,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/57770744/

相关文章:

java - 我的 KafkaSpout 不使用 HDP 中来自 Kafka Brokers 的消息

java - 期待 : Trouble implementing a sudo -i

java - 将jar添加到maven项目和git集成

apache - Hbase Master 和 Region 服务器无法启动

hadoop - Storm spout NullPointerException - 异步循环终止

java - 由 : java. lang.RuntimeException : java. io.NotSerializedException : io.netty.channel.DefaultChannelHandlerContext 引起

java - 无法从 HashMap 中以 HttpSession 作为键检索值

java - 从 Dbpedia 制作自定义本体/RDF 图

azure - Clickhouse服务器无法连接到Zookeeper

apache-kafka - 'confluent start' : Cannot start Kafka, Zookeeper 没有运行