apache-kafka - Apache Kafka 8.2中带有主机java.io.EOFException的I/O中的选择器[WARN]错误

标签 apache-kafka

我们的Apache kafka环境具有1-zk,3-服务器。每个服务器上的堆大小为1800 MB。我正在尝试生成1000mb,20mb的文件,以查看Kafka的性能。

我正进入(状态:
[PDT] 2015-03-23 13:53:50选择器[WARN]主机的I / O错误
java.io.EOFException
在org.apache.kafka.common.network.NetworkReceive.readFrom(NetworkReceive.java:62)
在org.apache.kafka.common.network.Selector.poll(Selector.java:248)
在org.apache.kafka.clients.NetworkClient.poll(NetworkClient.java:192)
在org.apache.kafka.clients.producer.internals.Sender.run(Sender.java:191)
在org.apache.kafka.clients.producer.internals.Sender.run(Sender.java:122)
在java.lang.Thread.run(Thread.java:724)

我有时会收到第997条消息,有时会收到第999条消息。没有模式。

谢谢,感谢您的宝贵时间!

最佳答案

这已经在这里解决了https://issues.apache.org/jira/browse/KAFKA-3205

尝试增加代理配置中的connections.max.idle.ms(kafka 0.9中的代理默认为10分钟)

关于apache-kafka - Apache Kafka 8.2中带有主机java.io.EOFException的I/O中的选择器[WARN]错误,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/29221068/

相关文章:

cqrs - 使用 Kafka 作为 (CQRS) 事件存储。好主意?

node.js - 如何在 NodeJS 中使用 Apache Kafka 将记录添加到 MongoDb 中?

apache-spark - 如何修复 Spark Streaming Kafka Consumer 中的 "java.io.NotSerializableException: org.apache.kafka.clients.consumer.ConsumerRecord"?

apache-kafka - IoT - 多个 Kafka 生产者向同一主题发布消息

apache-kafka - Kafka Streams - 如何更好地控制内部创建的状态存储主题的分区?

java - 在 Kafka 连接器中设置分区策略

spring-boot - Spring Kafka @KafkaListener - 重试发送失败的消息并手动提交偏移量

oracle - 如何在Docker中连接到外部Oracle数据库

java - 每当事件发生时触发 Spark 作业

apache-kafka - 如何使用Kafka连接输出到GCS中的动态目录?