我用诗歌创建了一个轮文件。
我正在按照 spark-submit 命令运行,但它不起作用。我想我错过了什么
spark-submit --py-files /path/to/wheel
请注意,我在下面也提到了,但没有得到太多细节,因为我是 Python 新手。how to pass python package to spark job and invoke main file from package with arguments
最佳答案
Wheel 文件可以作为以下 spark-submit 命令的一部分执行
spark-submit --deploy-mode cluster --py-files/path/to/wheel main_file.py
关于python - 如何使用 .whl 文件调用 pyspark 代码?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/64503039/