python - pyspark广播函数是否对变量进行深度复制？

Question

假设，我有一个变量，它是字典的字典。

h = {1: {2:3}, 5: {6: 7}}

我想将其广播给 pyspark 中的映射器。像这样只广播h就够了吗

h0 = sc.broadcast(h)

然后将其用作广播变量:h0.value[5][6]

或者我应该像这样广播它的所有值:

h0 = {k: sc.broadcast(v) for k, v in h.iteritems()}
...
def mapper():
    inner_h = {k, v for k, v in h0.iteritems()}
    inner_h[5].value[6]

？

Answer 1

可以直接用于收藏

sc.broadcast(h) and  h.value

这是一个有用的link举一些例子