scala - Zeppelin 集群模式不适用于 spark 1.2 Ambari、Hortonworks Cluster

标签 scala hadoop apache-spark ambari apache-zeppelin

我正在尝试部署一个集群并在其上运行一些示例 Spark/scala 代码,虽然当我在独立模式下使用默认参数使用 zeppelin 时一切正常,但我无法让它在集群模式下工作。 我尝试在 spark 中使用 spark-classstart-master 标准 shell 文件手动创建 spark 集群,然后通过 spark://.. Zeppelin 的 URL,但是在运行代码后,我不断收到不同的异常错误(例如缺少 java sys.process._ 库),一段时间后,spark worker 的状态在 Spark MasterUI 中变为 DEAD

我还尝试将 yarn-client 而不是 spark-URL 放入 zeppelin spark.home 变量中,但它没有产生类似的错误。

你能帮我在 Ambari 集群上部署 zeppelin 和/或提示我做错了什么吗?

最佳答案

对于 Zeppelin 与 Ambari 的集成,请使用此 ambari-zeppelin-service来自 Hortonworks。

它有很好的文档记录,也可以在集群模式下工作。

关于scala - Zeppelin 集群模式不适用于 spark 1.2 Ambari、Hortonworks Cluster,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/31630540/

相关文章:

scala - Spark程序性能——GC&任务反序列化&并发执行

scala - 如何在scala中使用没有案例类的模式匹配?

Scala 类构造函数默认参数,表达式使用以前的成员

scala - Apache Spark 使用管道分隔的 CSV 文件

performance - Informatica BDE 摄取作业运行 10 多个小时,终止并重新运行后 3 小时内完成

scala - 如何使用 `ssc.fileStream()` 读取 Parquet 文件?传递给 `ssc.fileStream()` 的类型是什么?

scala - 在 Scala 中编写级联 if 语句的更好方法?

java - 使用快速数据顺序错误进行mapreduce

java - 如何在 java 中导入 distcp 包?

SQL 查询返回 Apache Ignite 缓存的空结果