我正在进行一个研究项目，我在 Google Cloud Platform 上安装了完整的数据分析管道。我们使用 HyperLogLog on Spark 实时估算每个 URL 的唯一访问者。我使用 Dataproc 来设置 Spark 集群。这项工作的一个目标是根据集群大小测量架构的吞吐量。 Spark集群有三个节点(最小配置)
使用 Java 编写的自己的数据生成器模拟数据流，其中我使用了 kafka 生产者 API。架构如下所示:
数据生成器 -> Kafka -> Spark Streaming -> Elasticsearch。
问题是:当我增加我的数据生成器每秒产生的事件数量时，它超过了约 1000 个事件/秒，我的 Spark 作业中的输入速率突然崩溃并开始发生很大变化。
正如您在 Spark Web UI 的屏幕截图中看到的那样，处理时间和调度延迟保持不变，同时输入速率下降。
我用一个完整的简单 Spark 作业对其进行了测试，该作业仅进行简单的映射，以排除 Elasticsearch 写入缓慢或作业本身存在问题等原因。 Kafka 似乎也能正确接收和发送所有事件。
此外，我还试验了 Spark 配置参数:
spark.streaming.kafka.maxRatePerPartition 和 spark.streaming.receiver.maxRate
结果相同。
有人知道这里出了什么问题吗？这似乎真的取决于 Spark Job 或 Dataproc……但我不确定。所有 CPU 和内存利用率似乎都还不错。
编辑: 目前我有两个关于该主题的 kafka 分区(放在一台机器上)。但我认为 Kafka 即使只有一个分区也应该处理超过 1500 个事件/秒。问题还出在我实验开始时的一个分区上。我使用没有接收器的直接方法，因此 Spark 从主题中同时读取两个工作节点。
编辑 2: 我发现了导致这种不良吞吐量的原因。我忘了在我的架构中提到一个组件。我使用一个中央 Flume 代理通过 netcat 通过 log4j 记录来 self 的模拟器实例的所有事件。这个flume agent是性能问题的原因!我通过 disruptor 更改了 log4j 配置以使用异步记录器 ( https://logging.apache.org/log4j/2.x/manual/async.html )。我将 Flume 代理扩展到更多 CPU 内核和 RAM，并将 channel 更改为文件 channel 。但它仍然有不好的表现。没有效果...还有其他想法如何调整 Flume 性能吗？
最佳答案
鉴于信息量稀少，很难说。我会怀疑内存问题 - 在某些时候，服务器甚至可能开始交换。因此，检查所有服务器上的 JVM 内存利用率和交换事件。 Elasticsearch 应该能够处理大约 15.000 条记录/秒，只需稍作调整。检查服务器上的空闲和已提交 RAM。
关于elasticsearch - GCP/Dataproc 上 Kafka、Spark、Elasticsearch 堆栈的吞吐量，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/38563416/