apache-spark - 无法启动 Spark-shell

标签 apache-spark pyspark spark-shell

您好,我已经解压缩并导出了 spark 路径。当我吃午饭时,我收到了这个错误。

export PATH=$PATH:/usr/local/spark/spark24/bin

$ Spark 壳

错误

Traceback (most recent call last):
  File "/usr/local/bin/find_spark_home.py", line 74, in <module>
    print(_find_spark_home())
  File "/usr/local/bin/find_spark_home.py", line 56, in _find_spark_home
    module_home = os.path.dirname(find_spec("pyspark").origin)
AttributeError: 'NoneType' object has no attribute 'origin'
/usr/local/bin/spark-shell: line 57: /bin/spark-submit: No such file or directory

我的问题是什么。

最佳答案

您是否设置了 SPARK_HOME?

export SPARK_HOME=/usr/local/spark/spark24

关于apache-spark - 无法启动 Spark-shell,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/55304207/

相关文章:

java - bash: 导出: `“JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk-9.jdk/Contents/Home” ': 不是有效的标识符

azure - 如何在 Azure Synapse 中使用 PySpark 将文件装载为文件对象

eclipse - 对 RDD 元组比较

python - Spark-submit 在使用 Python 2.7、Java 1.8 的 Windows 10 上给出无效语法错误消息

apache-spark - 在 Apache Spark 中捕获自定义异常

apache-spark - 在 Pyspark 中将月份名称转换为数字

Python - 将行拆分为列 - csv 数据

performance - 有没有办法在读取许多文件时并行化 spark.read.load(string*) ?

java - 如何在 Java/Kotlin 中创建返回复杂类型的 Spark UDF?