python - 如何使用 pyspark 启动独立集群?

标签 python apache-spark pyspark

我在 ubuntu 下使用 pyspark 和 python 2.7 我安装它使用

pip install pyspark --user 

并试图跟随 instruction设置 Spark 集群

我找不到脚本 start-master.sh 我认为这与我安装了 pyspark 而不是常规 spark 这一事实有关

我找到了 here我可以通过 pyspark 将工作节点连接到主节点,但是如何使用 pyspark 启动主节点?

最佳答案

https://pypi.python.org/pypi/pyspark

The Python packaging for Spark is not intended to replace all ... use cases. This Python packaged version of Spark is suitable for interacting with an existing cluster (be it Spark standalone, YARN, or Mesos) - but does not contain the tools required to setup your own standalone Spark cluster. You can download the full version of Spark from the Apache Spark downloads page.

关于python - 如何使用 pyspark 启动独立集群?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/45282559/

相关文章:

Python:将字符串存储到数组中似乎会移动字符串索引?

python - 使 APScheduler 在 Web 应用程序中在后台运行

scala - 为什么 Scala 编译器为 Spark 1.4 提供 "value registerKryoClasses is not a member of org.apache.spark.SparkConf"?

java - 合并 HDFS 中小于 128MB 的压缩 lzo 文件

python - 正确读取 PySpark 中文件的类型

python - Pyspark/Python - 使用 MIN/MAX 而不丢失列

python - 使用 matplotlib 创建自己的颜色图并绘制颜色比例

python - 如何在异步单元测试中模拟方法?

python-3.x - pyspark写入wasb blob存储容器

pyspark - 要求失败 : OneHotEncoderModel expected x categorical values for input column label, 但输入列具有指定 n 值的元数据