我使用的是 cdh5.1.0,它已经安装了默认的 spark。但是,我想使用 Spark 1.3。我也可以把这个版本安装到cdh5.1.0吗?怎么可能设置这些?新版spark也会通过Cloudera manager监控吗?
最佳答案
是的,您可以运行任何您喜欢的 Apache Spark 版本。只需确保它是为您拥有的 YARN 版本构建的(CDH 5.1.0 为 2.3)。然后,您可以使用 spark-submit
作为 YARN 应用程序运行您的应用程序。 (参见 http://spark.apache.org/docs/latest/running-on-yarn.html。)它将像任何其他 YARN 应用程序一样受到监控。
Spark 根本不需要“安装”,您只需运行您的应用程序即可。
关于apache-spark - 我可以在 CDH 中安装多个 spark 版本吗?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/29691028/