apache-spark - Pyspark 命令无法识别(Ubuntu)

标签 apache-spark ubuntu pyspark jupyter-notebook

我已经使用 anaconda 成功安装了 pyspark,并在 .bashrc 中配置了路径。文件。
打字后 pyspark命令,它会打开 Jupyter-notebook其中python代码工作正常。喜欢,print "Hello"等等

但是当我执行像 collect() 这样的 Pyspark 命令时, take(5)等等,它给出了一个错误 "Cannot run program '/usr/bin/Python-3.7.4". Permission denied.
它引用了错误的目录,如 Python-3.7.4安装在 Anaconda目录。

是否有任何配置/步骤,我需要执行以解决此问题?

最佳答案

尝试更新PYSPARK_PYTHONPYSPARK_DRIVER_PYTHON环境变量到正确的 Python 3 分发路径

关于apache-spark - Pyspark 命令无法识别(Ubuntu),我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/58392748/

相关文章:

scala - 用Scala,Apache Spark编写的编译错误保存模型

scala - 处理 Spark UDF 中的所有列/整行

perl - 使用 perlbrew 时安装模块

linux - 禁用交互式搜索 - 用户端

pyspark - 如何使用 Databrick 截断和/或使用通配符

python - 属性错误 : 'DataFrame' object has no attribute '_data'

python - Pyspark倒排索引

apache-spark - 每组 Spark sql 前 n 个

mysql - 尝试修复 mysql 安装后收到 Linux "Error: BrokenCount > 0"?

apache-spark - 从 pyspark 数据框中的结构类型获取字段值