我正在使用 Spark 1.4.0-rc2，因此我可以将 python 3 与 Spark 一起使用。如果我将 export PYSPARK_PYTHON=python3 添加到我的 .bashrc 文件中，我可以与 python 3 交互运行 Spark。但是，如果我想在本地模式下运行独立程序，我收到错误:
Exception: Python in worker has different version 3.4 than that in driver 2.7, PySpark cannot run with different minor versions
如何指定驱动程序的Python版本？设置 export PYSPARK_DRIVER_PYTHON=python3 不起作用。
最佳答案
设置 PYSPARK_PYTHON=python3 和 PYSPARK_DRIVER_PYTHON=python3 对我有用。
我在 .bashrc 中使用导出来完成此操作。最后，这些是我创建的变量:
export SPARK_HOME="$HOME/Downloads/spark-1.4.0-bin-hadoop2.4"
export IPYTHON=1
export PYSPARK_PYTHON=/usr/bin/python3
export PYSPARK_DRIVER_PYTHON=ipython3
export PYSPARK_DRIVER_PYTHON_OPTS="notebook"
我还按照本教程使其在 Ipython3 笔记本中工作: http://ramhiser.com/2015/02/01/configuring-ipython-notebook-support-for-pyspark/
关于python - 如何在spark中设置驱动程序的python版本？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/30518362/