我要配置 Apache Spark 主连接动物园管理员
我已经安装了它们并运行了 Zookeeper。
在 spark-env.sh , 我添加 2 行:
-Dspark.deploy.recoveryMode=ZOOKEEPER
-Dspark.deploy.zookeeper.url=localhost:2181
但是当我开始时 Apache Spark 与 ./sbin/start-all.sh
它显示错误
/home/deploy/spark-1.0.0/sbin/../conf/spark-env.sh: line 46: -Dspark.deploy.recoveryMode=ZOOKEEPER: command not found
/home/deploy/spark-1.0.0/sbin/../conf/spark-env.sh: line 47: -Dspark.deploy.zookeeper.url=localhost:2181: command not found
我想知道如何在 spark-env.sh 上添加 Zookeeper 设置
最佳答案
很可能您已经将这些行直接添加到文件中,如下所示:
export SPARK_PREFIX=`dirname "$this"`/..
export SPARK_CONF_DIR="$SPARK_HOME/conf"
...
-Dspark.deploy.recoveryMode=ZOOKEEPER
-Dspark.deploy.zookeeper.url=localhost:2181
当被 start-all.sh 调用时,bash 会提示那些
-Dspark...
不是有效的命令。请注意 spark_config.sh
是一个 bash 脚本,应该包含有效的 bash 表达式。按照 High Availability 中的配置指南进行操作, 你应该设置
SPARK_DAEMON_JAVA_OPTS
带有以下选项:spark.deploy.recoveryMode
, spark.deploy.zookeeper.url
, 和 spark.deploy.zookeeper.dir
.使用您的数据,您需要向
spark-conf.sh
添加一行像这样:export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=localhost:2181"
关于apache-spark - 如何使用 Zookeeper 为 HA 设置 Spark?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/24183904/