我正在设置一个 Hadoop 集群用于测试/PoC 目的。今天有什么不能用 Spark 作为处理引擎来完成的吗？在我看来，Spark 已经取代了 MR，并且围绕 Hadoop 构建的所有其他工具/抽象也与 Spark 兼容(Hive、Sqoop、Flume、HBase、Pig...)——是否有其他限制？ 据我了解，即使对于批处理作业，Spark 至少与 MR 一样快，如果您想在未来扩展您的用例(流式处理)，那么无论如何您都需要适应 Spark。
我问这个问题是因为直到今天，大多数介绍和教程都在教您有关 Hadoop 和 MapReduce 的知识。
最佳答案
很简单，不，现在没有理由使用 MapReduce。 Spark 更快、更易于使用、有更多的持续开发、更多的连接器、更多的用户、更多的优化...
在教程中使用 MapReduce 是因为许多教程已经过时，而且还因为 MapReduce 演示了在所有分布式系统中处理数据的底层方法。在我看来，任何想要使用“大数据”的人都应该(至少在概念上)了解 MapReduce。
关于apache-spark - 今天使用 MapReduce 代替 Spark 有什么好处？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/55241905/