python - 在 apache zeppelin 中找不到 pyspark 解释器

Question

我在 Apache-Zeppelin(版本 0.6.0)笔记本中使用 pyspark 时遇到问题。运行以下简单代码会出现 pyspark interpreter not found 错误

%pyspark
a = 1+3

运行 sc.version 给我 res2: String = 1.6.0 这是我机器上安装的 spark 的版本。并运行 z 返回 res0: org.apache.zeppelin.spark.ZeppelinContext = {}

1. Pyspark 从 CLI 运行(使用 spark 1.6.0 和 python 2.6.6)

2. native 默认python 2.6.6，同时安装了anaconda-python 3.5但未设置为默认python。

3. 基于此post我更新了位于 /usr/hdp/current/zeppelin-server/lib/conf 的 zeppelin-env.sh 文件并添加了 Anaconda python 3 路径

export PYSPARK_PYTHON=/opt/anaconda3/bin/python
export PYTHONPATH=/opt/anaconda3/bin/python

之后，我多次使用

停止并重新启动 zeppelin

/usr/hdp/current/zeppelin-server/lib/bin/zeppelin-daemon.sh

但我无法让 pyspark 解释器在 zeppelin 中工作。

Answer 1

对于发现pyspark没有响应的人，请尝试在Zeppelin中重启你的spark解释器，它可能会解决pyspark没有响应的问题 错误。