apache-kafka - Kafka最大连接数

Question

我们计划实现 Kafka 以从各种设备收集日志。我们预计会有大约 1 万台设备。我们可以将所有这些设备直接连接到 kafka 集群，还是应该通过日志服务器收集日志以限制与 kafka 的连接数量？我们计划为每种设备(Linux、Aix、Windows 2003、2008 等)设置一个主题
谢谢

Answer 1

我会说相关的指标是每个 Kaka 节点需要传送的每秒消息数。它的基准测试非常好，每个节点每秒有数十万条消息，每个节点线性扩展。如果一两个节点不够用，您可以随时添加更多节点以提高吞吐量。

一个带有 3 个节点的旧基准测试是每秒处理 80 万条消息(~80 mb)，每条消息都被复制到其他节点。

您可以在此处深入阅读:
https://engineering.linkedin.com/kafka/benchmarking-apache-kafka-2-million-writes-second-three-cheap-machines

编辑:
Kafka 连接是幕后的 tcp 连接:
https://cwiki.apache.org/confluence/display/KAFKA/A+Guide+To+The+Kafka+Protocol#AGuideToTheKafkaProtocol-Network

引用:

Kafka uses a binary protocol over TCP. The protocol 
defines all apis as request response message pairs. 

Tcp 套接字连接非常轻量级，仅受所连接服务器的可用内存限制。一些 Kafka 线性扩展，您应该能够扩展代理并为您预期的任何负载分配主题