python - PySpark 不会启动 - ‘python’ : No such file or directory

Question

我正在尝试在我的桌面上设置 pyspark 并通过终端与其交互。 我正在遵循本指南，

http://jmedium.com/pyspark-in-python/

当我在终端中运行“pyspark”时，会显示

/home/jacob/spark-2.1.0-bin-hadoop2.7/bin/pyspark: line 45: python:
command not found
env: ‘python’: No such file or directory

我遵循了几个指南，它们都导致了同样的问题(有些指南在设置 .profile 方面有不同的细节。到目前为止，没有一个能正常工作)。 我安装了java、python3.6和Scala。 我的 .profile 配置如下:

#Spark and PySpark Setup
PATH="$HOME/bin:$HOME/.local/bin:$PATH"
export SPARK_HOME='/home/jacob/spark-2.1.0-bin-hadoop2.7'
export PATH=$SPARK_HOME:$PATH
export PYTHONPATH=$SPARK_HOME/python:$PYTHONPATH
#export PYSPARK_DRIVER_PYTHON="jupyter"
#export PYSPARK_DRIVER_PYTHON_OPTS="notebook"
export PYSPARK_PYTHON=python3.6.5

请注意，jupyter notebook 已被注释掉，因为我想立即在 shell 中启动 pyspark 而无需启动 notebook

有趣的是，spark-shell 启动得很好

我正在使用 Ubuntu 18.04.1 和 星火 2.1

查看图片

我已经尝试了我能找到的所有指南，由于这是我第一次设置 Spark，我不确定如何从这里进行故障排除

谢谢

Attempting to execute pyspark

.profile

versions

Answer 1

您应该在 .profile 中设置 export PYSPARK_PYTHON=python3 而不是 export PYSPARK_PYTHON=python3.6.5

当然是 source .profile

这对我有用。

其他选项，安装 sudo apt python(适用于 2.x)不合适。