我在此处的 Python 文件中有一个名为 some_class() 的类:
/some-folder/app/bin/file.py
我将它导入到我的代码中:
/some-folder2/app/code/file2.py
通过
import sys
sys.path.append('/some-folder/app/bin')
from file import some_class
clss = some_class()
我想在spark的map中使用这个类的some_function函数
sc.parallelize(some_data_iterator).map(lambda x: clss.some_function(x))
这给我一个错误:
No module named file
虽然 class.some_function 当我在 pyspark 的 map 函数之外调用它时,即通常但不在 pySpark 的 RDD 中。我认为这与pyspark有关。我不知道我哪里出错了。
我试过广播这个类,但还是不行。
最佳答案
所有 Python 依赖项都必须存在于工作节点的搜索路径上,或者使用 SparkContext.addPyFile
方法手动分发,所以像这样的事情应该可以解决问题:
sc.addPyFile("/some-folder/app/bin/file.py")
它将文件复制到所有worker并放置在工作目录中。
请注意,请不要使用 file
作为模块名称,即使它只是一个示例。在 Python 中隐藏内置函数并不是一个好主意。
关于python - 将类函数传递给 PySpark RDD,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/32569633/