我正在尝试将 Apache Spark 设置为在 Mesos 上运行,但在终端上收到以下消息:
W0309 10:37:10.570291 4017 sched.cpp:700] Ignoring framework registered message because it was sent from 'master@127.0.1.1:5050' instead of the leading master 'master@127.0.0.1:5050'
此消息一直出现在 spark-shell 上,我无法运行任何命令。我使用以下命令启动了 spark-shell:
./bin/spark-shell --master mesos://127.0.0.1:5050 --conf spark.executor.uri=/home/user/spark/spark-1.6.0-bin-hadoop2.6.tgz
当我检查 Mesos WebUI 上的框架选项卡时,Spark Shell 被列为框架。
关于为什么我遇到上述消息并且无法从 spark-shell 运行命令的任何想法?或者,在 Mesos 上运行 Spark 有什么好的引用吗?
最佳答案
我将在这里做一些问题工作,但我假设您没有指定 --ip
启动时的参数mesos-master.sh
.在这种情况下,您应该将启动脚本更改为:./bin/spark-shell --master mesos://127.0.1.1:5050 --conf spark.executor.uri=/home/user/spark/spark-1.6.0-bin-hadoop2.6.tgz
我猜你有一个 127.0.1.1
您的 /etc/hosts
中的条目(或系统上用于该分辨率的任何文件)并且 Mesos 正在解析为 127.0.1.1
默认情况下。您可以使用 ip
参数将其更改为 127.0.0.1
如果您出于某种原因更喜欢。
关于apache-spark - 如何将 spark-shell 连接到 Mesos?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/35893506/