我正在使用 kafka 0.8 和 spring-integration-kafka 1.2.0.RELEASE
我有 2 个名为“主要”和“次要”的主题。我需要从主要主题进行消费，经过一些处理后需要生成次要主题，以便稍后完成下一组处理。
虽然主要主题的消费工作正常，但几分钟后向次要主题的生产开始失败。问题始于我设置的 500 毫秒后向 kafka 发送请求超时。以线程池耗尽而结束。
如果我尝试将事件生成到另一个 kafka 集群的次要主题，它可以正常工作。
我有 4 个消费者正在运行，每个主题都有 200 个分区。
我对kafka不太陌生，如有缺乏知识的地方，请原谅。 请评论我应该提供的任何缺失信息。
最佳答案
根据所提供的信息有点难以了解，但我怀疑这个问题是您可以从第一个主题消费然后计算结果，速度比您生成第二个主题的速度更快。发生这种情况的原因可能有很多。例如，对次要主题的写入可能没有很好地跨分区分布。同样，生产到不同的集群可能会因多种原因而成功，包括更快的机器、更多的机器、更好的网络等。
基本问题并不是 Kafka 特有的:如果您从一个源消费并将数据发送到第二个接收器，您通常不能假设第二个接收器总是比第一个源更快。每当第二个接收器变慢时，即使只有一点点，您最终都会遇到这样的问题。例如，假设您可以从主接收器每秒读取 100 个事件，但辅助接收器每秒只能读取 99 个事件。这意味着每一秒内存中都会有 1 个事件等待发送到接收器。如果您不采取任何措施减慢从主要来源读取数据的速度，您将耗尽 RAM、线程或其他一些资源。
一般的解决方案是某种限制。例如，您可以使用以 500 个许可开头的 Semaphore:这意味着您永远无法从主要源读取超过 500 个尚未成功发送到接收器的项目。在从主要来源读取项目之前，您需要递减Semaphore，这样，如果您已经“领先”次要来源 500 个项目，您的阅读器将被阻止。每次成功将项目发送到次要主题时，您都会释放一个许可证，允许另一次读取继续进行。
我会警告不要使用第二个 Kafka 集群或其他有效但不能真正解决核心问题的修复方法。例如，如果现在可以对不同的集群进行生产，那么当该集群由于节点丢失、大的重新平衡等而减慢时，它就不会起作用。这只是暂时隐藏了问题。
关于java - 从同一 JVM 运行 kafka 消费者和生产者时生产者速度缓慢，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/41351737/