apache-spark - 有什么理由选择 Flink 而不是 Spark 2.3 Structured Streaming?

标签 apache-spark apache-flink spark-structured-streaming

对于流式应用程序,选择 Flink 而不是新的 Spark 2.3 有什么好处,现在 Spark 2.3 带来了延迟为 1 毫秒的“连续处理”?

最佳答案

我选择 Flink 的原因之一是 Spark Structured Streaming 2.3 仍然没有与 AWS Kinesis 的连接器。 此外,新的“连续处理”模式非常新,仍然不支持聚合,如图所示 here .我们预计可能会在 6-12 个月内获得支持。 最后,Flink 是从头开始构建的,在 Spark 被改编的同时进行流式处理。所以 Flink 仍然具有更低的延迟和更丰富的 API。

关于apache-spark - 有什么理由选择 Flink 而不是 Spark 2.3 Structured Streaming?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/50807224/

相关文章:

java - 如何使用 JUNit 测试 Java-Spark?

java - 在本地执行示例 Flink 程序

scala - Spark Structured Streaming with Kafka - 如何重新分区数据并在工作节点之间分配处理

apache-spark - 在 Spark 结构化流中执行单独的流查询

scala - 运行Spark Scala示例失败

python - 属性错误: 'NoneType' object has no attribute '_jvm - PySpark UDF

python - 带有缩进的 Pyspark 文本文件 json

azure - 从 Azure IoT 中心路由和转换数据

java - 如何提高 Flink 中数据流实现的不同计数?

apache-spark - 如何将流式数据集写入 Cassandra?