java - pyspark无法启动

标签 java apache-spark pyspark startup

我使用的是 Windows 8.1 操作系统。我安装了 apache Spark,然后安装了 Java JDK。我在 Windows 中使用 git bash 。我的 git bash 的 .bash_profile 中有以下设置。

export SPARK_HOME="/c/tools/spark-2.3.1-bin-hadoop2.7" 
export PATH="$SPARK_HOME/bin:$PATH"  
export JAVA_HOME="/c/Program Files (x86)/Java/jdk1.8.0_181/"

当我尝试调用pyspark时,我收到如下错误。

/c/tools/spark-2.3.1-bin-hadoop2.7/bin/pyspark: line 45: python: command not found Error: Could not find or load main class org.apache.spark.launcher.Main

我尝试在路径“/c/tools/spark-2.3.1-bin-hadoop2.7/bin/”中运行spark-shell。仍然遇到同样的错误。

请帮助我让 pyspark 在我的机器上运行。

最佳答案

按照博客中的步骤,我终于能够让 pyspark 在 Windows 中工作

http://nishutayaltech.blogspot.com/2015/04/how-to-run-apache-spark-on-windows7-in.html

我必须安装更多工具并设置环境变量才能最终使其正常工作。

关于java - pyspark无法启动,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/52220284/

相关文章:

java - 从 .txt 文件加载数据时出现 FileNotFoundException: "Access is denied"

Java和sql循环优化

java - OutOfMemoryError - 如何在 hprof 创建后终止 JVM

apache-spark - Spark-sql 可以在没有安装配置单元的情况下工作吗?

python - 在 PySpark 中使用正则表达式创建 N-Gram

java - 如何访问 Apache ISIS DomainService 上的请求 header 或 HTTPServletRequest?

hadoop - Spark Map Task 内存消耗巨大

scala - 从 SFTP 服务器加载文件到 spark RDD

python - 类型错误 : 'DataFrameWriter' object is not callable

python - 如何查找 Pyspark 中列中值最大的行名称