我在 ubuntu 下使用 pyspark 和 python 2.7 我安装它使用
pip install pyspark --user
并试图跟随 instruction设置 Spark 集群
我找不到脚本 start-master.sh 我认为这与我安装了 pyspark 而不是常规 spark 这一事实有关
我找到了 here我可以通过 pyspark 将工作节点连接到主节点,但是如何使用 pyspark 启动主节点?
最佳答案
https://pypi.python.org/pypi/pyspark
The Python packaging for Spark is not intended to replace all ... use cases. This Python packaged version of Spark is suitable for interacting with an existing cluster (be it Spark standalone, YARN, or Mesos) - but does not contain the tools required to setup your own standalone Spark cluster. You can download the full version of Spark from the Apache Spark downloads page.
关于python - 如何使用 pyspark 启动独立集群?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/45282559/