我正在尝试安装 PySpark 并遵循 instructions并在我安装了 Spark 的集群节点上从命令行运行它:
$ sbt/sbt assembly
这会产生以下错误:
-bash: sbt/sbt: No such file or directory
我尝试下一个命令:
$ ./bin/pyspark
我收到这个错误:
-bash: ./bin/pyspark: No such file or directory
我觉得我缺少一些基本的东西。 什么不见了？ 我已经安装了 spark 并且可以使用以下命令访问它:
$ spark-shell
我在节点上安装了 python，并且能够使用以下命令打开 python:
$ python
最佳答案
您当前的工作目录是什么？ sbt/sbt 和 ./bin/pyspark 命令是相对于包含 Spark 代码的目录 ($SPARK_HOME)，所以你应该在运行这些命令时的那个目录。
请注意，Spark 提供 pre-built binary distributions与许多常见的 Hadoop 发行版兼容；如果您使用其中一个发行版，这可能是一个更简单的选择。
此外，您似乎链接到了 Spark 0.9.0 文档；如果您从头开始构建 Spark，我建议您遵循 latest version of the documentation .
关于python - 安装 PySpark，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/25369051/