我有以下示例数据帧:
a | b | c |
1 | 2 | 4 |
0 | null | null|
null | 3 | 4 |
我只想替换前两列中的空值 - 列“a”和“b”:
a | b | c |
1 | 2 | 4 |
0 | 0 | null|
0 | 3 | 4 |
这是创建示例数据框的代码:
rdd = sc.parallelize([(1,2,4), (0,None,None), (None,3,4)])
df2 = sqlContext.createDataFrame(rdd, ["a", "b", "c"])
我知道如何使用以下方法替换所有空值:
df2 = df2.fillna(0)
当我尝试这个时,我丢失了第三列:
df2 = df2.select(df2.columns[0:1]).fillna(0)
最佳答案
df.fillna(0, subset=['a', 'b'])
有一个名为
subset
的参数选择列,除非您的 spark 版本低于 1.3.1
关于apache-spark - PySpark:如何在特定列的数据框中填充值?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/45065636/