hadoop - 通过Ambari安装Spark

标签 hadoop apache-spark hortonworks-data-platform ambari

我已经通过Ambari配置了VM集群。
现在尝试安装Spark。

在所有教程中(即here),它都非常简单; Spark安装类似于其他服务:

https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.3.4/bk_spark-guide/content/install-spark-over-ambari.html

但是似乎在我的Ambari实例中根本没有这样的条目。

如何将Spark条目添加到Ambari服务?

最佳答案

/var/lib/ambari-server/resources/stacks/HDP/2.2/services目录下应该有一个SPARK文件夹。此外,应在/var/lib/ambari-server/resources/common-services/SPARK下通过版本号标识 Spark 文件夹。有人修改了您的环境,或者这是Ambari的错误和非标准安装。

我建议重新安装,因为很难确切说明您需要添加什么,因为不清楚环境中可能还缺少哪些其他东西。

关于hadoop - 通过Ambari安装Spark,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/40432351/

相关文章:

amazon-web-services - 我可以像在本地集群上一样在 EMR 上运行作业吗

apache-spark - TIMESTAMP 在 hive 中与 Parquet 的行为不符

java - 用于MapR/Hadoop/Hive的类路径

maven - 为 Spark 包添加解析器

hadoop - 由于 VERTEX_FAILURE,Tez DAG 上的 Hive 查询未成功

hadoop - 无法设置Eclipse插件,Hadoop Hortonworks 2.0

c++ - 流式 C++ 程序和共享库

apache-spark - 为什么流式聚合总是延迟到两批数据?

apache-spark - 使用 Spark-sql GROUP BY 解决性能和内存问题

python - 与Hortonworks Ambari(Hive)的Python连接。