apache-spark - Pyspark 命令无法识别(Ubuntu)

标签 apache-spark ubuntu pyspark jupyter-notebook

我已经使用 anaconda 成功安装了 pyspark,并在 .bashrc 中配置了路径。文件。
打字后 pyspark命令,它会打开 Jupyter-notebook其中python代码工作正常。喜欢,print "Hello"等等

但是当我执行像 collect() 这样的 Pyspark 命令时, take(5)等等,它给出了一个错误 "Cannot run program '/usr/bin/Python-3.7.4". Permission denied.
它引用了错误的目录,如 Python-3.7.4安装在 Anaconda目录。

是否有任何配置/步骤,我需要执行以解决此问题?

最佳答案

尝试更新PYSPARK_PYTHONPYSPARK_DRIVER_PYTHON环境变量到正确的 Python 3 分发路径

关于apache-spark - Pyspark 命令无法识别(Ubuntu),我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/58392748/

相关文章:

scala - 当从Apache Spark作业将空字符串写入 Elasticsearch 时,如何解决错误?

scala - 检查文件是否为 ORC 文件

c++ - 不同命名空间中模板的特化

mysql - 远程连接无法打开3306端口

sql - Spark 窗口函数 - rangeBetween 日期

apache-spark - 在 PySpark 中获取序列文件格式文件的 HDFS 文件路径

linux - 无法从 bin 运行 spark-shell

apache-spark - 对组内的 pyspark 数据框进行排序

java - Bitnami Tomcat Stack Maven 编译失败

apache-spark - Spark on Win10 安装在 None.org.apache.spark.api.java.JavaSparkContext 出错