python - 找不到 Spark jars 目录。在运行这个程序之前你需要构建 Spark

标签 python windows apache-spark pyspark anaconda

我正在尝试在 Windows 10 上安装 spark,但在尝试运行 pyspark 时出现错误。

Failed to find Spark jars directory. You need to build Spark before running this program.

我已按照指示的步骤进行操作 Here直到第 4 步。

我去了 Anaconda 的脚本和站点包。在脚本中有 pyspark spark-shell 等等,但是 site-packages 中的 pyspark 文件夹既没有 jars 文件夹也没有它自己的 bin 文件夹。

jar 在哪里?

最佳答案

导致此错误的原因之一是,在设置路径时,Spark_home 路径可能包含诸如“C:/Users//apache spark/bin”之类的空格

只需删除空格或切换到另一个目录。

关于python - 找不到 Spark jars 目录。在运行这个程序之前你需要构建 Spark,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/47315690/

相关文章:

Python celery worker_main "RuntimeError: maximum recursion depth exceeded"

c++ - 如何在构造函数中正确初始化 XMVECTOR?

c++ - Qt:windows函数是未解析的外部符号

scala - 如何读取压缩的 Spark eventLog?

java - JavaSparkContext.wholeTextFiles 的数据集 API 模拟

Python:循环匹配某个值的列表列表并更改它

python - 惯用的 Python 日志记录 : format string + args list vs. 内联字符串格式 - 哪个是首选?

python - 如何使用 BigQuery Python API 附加查询结果

mysql - Django 1.11 : Issues with utf8 writing to file on windows

maven - 将 Spark 源代码导入 intellij,构建错误 : not found: type SparkFlumeProtocol and EventBatch