python - 如何使用 .whl 文件调用 pyspark 代码?

标签 python apache-spark pyspark python-packaging python-wheel

我用诗歌创建了一个轮文件。
我正在按照 spark-submit 命令运行,但它不起作用。我想我错过了什么

spark-submit --py-files /path/to/wheel
请注意,我在下面也提到了,但没有得到太多细节,因为我是 Python 新手。
how to pass python package to spark job and invoke main file from package with arguments

最佳答案

Wheel 文件可以作为以下 spark-submit 命令的一部分执行
spark-submit --deploy-mode cluster --py-files/path/to/wheel main_file.py

关于python - 如何使用 .whl 文件调用 pyspark 代码?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/64503039/

相关文章:

python - 验证 pyspark dataframe 中列的数据类型

python - 使用 python 连接到 DB2

Python:如何组合两个函数的返回值并使用线程将它们附加到列表中?

unit-testing - Spark 单元测试不适用于 powermockito

python - pyspark 中的分桶和一种热编码

python - Pyspark:是否有与 pandas info() 等效的方法?

python - Cython 无法正常工作,无法诊断问题

mysql - 如何使用 cassandra 中另一个表的选择插入到 cassandra 表中?

apache-spark - 如何在 Apache Spark/Hive 中合并 DataFrame,然后增加版本

apache-spark - 是否可以将经过训练的 Spark ML 模型或交叉验证器保存到 postgresql 数据库?