apache-spark - Apache Spark 与 Spring Cloud 数据流

标签 apache-spark spring-cloud-dataflow

关闭。这个问题需要更多focused .它目前不接受答案。












想改善这个问题吗?更新问题,使其仅关注一个问题 editing this post .

5 个月前关闭。




Improve this question




我是大数据处理的新手,我正在阅读有关流处理和构建数据管道的工具。
我找到了 Apache Spark 和 Spring Cloud Data Flow。我想知道它们的主要区别和优缺点。
有人可以帮我吗?

最佳答案

它们是两种完全不同的工具。

Spring Data Flow是用于构建数据集成和实时数据处理管道的工具包。此工具将帮助您使用 Spring Boot 应用程序(流或任务)编排数据管道。在幕后,SCDF 可能会使用 Spring Batch。注意这个 Spring Boot Apps 可以调用 Spark 或 Kafka 应用程序来支持流处理。

Apache Spark是一个数据处理引擎,它被高度用于数据密集型处理和数据科学。它有ML(机器学习)、Graph(图形处理)等库,与Apache Kafka集成。 (Spark Streaming)等。

对于流媒体,我强烈建议您学习 Apache Kafka。

关于apache-spark - Apache Spark 与 Spring Cloud 数据流,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/51452952/

相关文章:

hadoop - Spark java.io.EOFException : Premature EOF: no length prefix available

apache-spark - spark数据帧中queryExecution的用途是什么?

java - 如何使用Spring云数据流转换Mysql数据http调用?

spring-xd - Spring Cloud 数据流中的 Kafka 源

java - 通过单独运行批处理微服务,在 Spring Cloud Data Flow 上部署 Spring Batch 应用程序

cloud-foundry - Spring Cloud Dataflow 有什么好处?

java - Spark数据集获取与整数列标题相同的数据

eclipse - 在 Eclipse 上开发 Spark Java 应用程序

scala - Spark udf 初始化

macos - 在哪里设置本地 Spring Cloud Dataflow 的环境变量?