java - 云中的 Kafka 消费者

标签 java apache-kafka cloud-foundry spring-kafka

我正在使用 spring kafka 消费者,它们包装在 Spring Boot 应用程序中,并作为微服务部署在关键的云类型转换厂中。我正在部署 15 个应用程序实例和 15 个 kafka 分区。由于这些实例大多数都是一一启动的,是否会进行多次重新平衡?在云中部署 kafka 消费者的推荐方法是什么?

最佳答案

新的0.11客户端有一个新属性group.initial.rebalance.delay.ms see Notable changes in 0.11.0.0 .

A new config, group.initial.rebalance.delay.ms, was introduced. This config specifies the time, in milliseconds, that the GroupCoordinator will delay the initial consumer rebalance. The rebalance will be further delayed by the value of group.initial.rebalance.delay.ms as new members join the group, up to a maximum of max.poll.interval.ms. The default value for this is 3 seconds. During development and testing it might be desirable to set this to 0 inorder to not delay test execution time.

我们正在添加对 0.11 客户端的支持。目前计划发布 2.0 Spring for Apache Kafka 版本,但我们正在考虑发布 1.3 版本,其中包含 2.0 功能的子集以及对 0.11 的支持。

您可以尝试将新客户端与旧的 spring-kafka 一起使用;它可能有效,但当然,您不会获得 0.11 功能,例如交易和 Headers

关于java - 云中的 Kafka 消费者,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/45202097/

相关文章:

java - 在eclipse上安装EGit会出现问题

amazon-web-services - AWS 上的 Kafka 消费问题

apache-kafka - Kafka 重新分配 __consumer_offsets 不正确?

java - 在 Cloud Foundry 上的 docker 中启用 HTTPS 来运行 Spring Boot 应用程序

amazon-s3 - 在 cloud foundry 中自动备份 maria db 和 s3

grails - 如何在实时/生产环境中监控和维护我的 grails 应用程序?

java - 使用共享首选项在单击按钮时保存字符串

java - SVNKit 用于查找存储在不同位置且具有不同版本号的两个文件之间的差异

java.awt.Robot 未按预期运行

apache-kafka - Kafka Connect 警报选项?