apache-spark - 在 docker 中使用 spark 2.2 运行 zeppelin

Question

如何在 docker 中使用 Spark 2.2 运行 Zeppelin？

如果我在 docker 中启动 zeppelin，它从 spark 2.1 开始。

docker run -p 8080:8080 --rm --name zeppelin apache/zeppelin:0.7.3

我想用 2.2

我尝试了这个配置，它在 Windows 笔记本电脑上启动，但是当我在 Zeppeling Notebook 中运行命令 spark 时出现错误

    master:
  image: gettyimages/spark
  command: bin/spark-class org.apache.spark.deploy.master.Master -h master
  hostname: master
  environment:
    MASTER: spark://master:7077
    SPARK_CONF_DIR: /conf
    SPARK_PUBLIC_DNS: localhost
  expose:
    - 7001
    - 7002
    - 7003
    - 7004
    - 7005
    - 7006
    - 7077
    - 6066
  ports:
    - 4040:4040
    - 6066:6066
    - 7077:7077
    - 8080:8080
  volumes:
    - ./conf/master:/conf
    - ./data:/tmp/data


zeppelin:
  image: apache/zeppelin:0.7.3
  environment:
    ZEPPELIN_PORT: 8090
    ZEPPELIN_JAVA_OPTS: >-
      -Dspark.driver.memory=1g
      -Dspark.executor.memory=2g
    MASTER: local[*]
    SPARK_MASTER: spark://master:7077
    SPARK_HOME: master
  ports:
    - 8090:8090
  volumes:
    - ./data:/usr/zeppelin/data
    - ./notebooks:/usr/zeppelin/notebook

但我得到错误

org.apache.zeppelin.interpreter.InterpreterException: /zeppelin/bin/interpreter.sh: line 211: master/bin/spark-submit: No such file or directory

Answer 1

如果你只想使用现有的镜像，你需要找到一个使用 Spark 2 构建的镜像。 比如下面使用的是 spark 2.2，要开始使用它运行以下命令

docker run --rm -p 8080:8080 dylanmei/zeppelin

或者，您可以构建自己的图像，将下面链接的内容保存在 Dockerfile 中

https://hub.docker.com/r/dylanmei/zeppelin/~/dockerfile/

进行更改，然后使用

docker build -t myZeppelinSparkImage .