python - 如何在 jupyter 笔记本中运行 Spark-Submit？

Question

我尝试在 jupyter 笔记本中运行 Spark-submit 作业以从网络数据库中提取数据:

!spark-submit --packages org.mongodb.spark:mongo-spark-connector_2.10:2.0.0 script.py

并收到此消息:

jupyter: '/home/user/script.py' is not a Jupyter command

是否有从笔记本提交的选项。

韩国

Answer 1

如果它是 ipykernel，我没有看到执行 Spark 提交的要求，您已经处于交互式 Spark 模式，其中 sparkContext 和 sqlContext 已经创建并且可用于内核启动的整个 session 。 似乎您正在尝试创建级联排序操作，即在 Spark 应用程序中使用 Spark 应用程序，等等。 Spark 则无法做到这一点。

您可以启动普通的 python 内核，然后使用 Popen 或其他此类库和函数将 spark-submit 作为 shell 命令运行。