我想在 Pandas 数据框中查找包含空格(任意数量)的所有值,并将这些值替换为 NaN。
有什么想法可以改进吗?
基本上我想转这个:
A B C
2000-01-01 -0.532681 foo 0
2000-01-02 1.490752 bar 1
2000-01-03 -1.387326 foo 2
2000-01-04 0.814772 baz
2000-01-05 -0.222552 4
2000-01-06 -1.176781 qux
进入这个:
A B C
2000-01-01 -0.532681 foo 0
2000-01-02 1.490752 bar 1
2000-01-03 -1.387326 foo 2
2000-01-04 0.814772 baz NaN
2000-01-05 -0.222552 NaN 4
2000-01-06 -1.176781 qux NaN
我已经设法用下面的代码做到了,但是这很难看。它不是 Pythonic,我敢肯定它也不是对 pandas 的最有效使用。我遍历每一列,并对通过应用一个函数生成的列掩码进行 bool 替换,该函数对每个值进行正则表达式搜索,匹配空白。
for i in df.columns:
df[i][df[i].apply(lambda i: True if re.search('^\s*$', str(i)) else False)]=None
可以通过仅遍历可能包含空字符串的字段来进行一些优化:
if df[i].dtype == np.dtype('object')
但这并没有太大的改进
最后,这段代码将目标字符串设置为 None,这可以与 Pandas 的 fillna()
等函数一起使用,但如果我真的可以插入 NaN,那么完整性会很好
直接代替 None
。
最佳答案
我认为 df.replace()
可以完成这项工作,因为 pandas 0.13 :
df = pd.DataFrame([
[-0.532681, 'foo', 0],
[1.490752, 'bar', 1],
[-1.387326, 'foo', 2],
[0.814772, 'baz', ' '],
[-0.222552, ' ', 4],
[-1.176781, 'qux', ' '],
], columns='A B C'.split(), index=pd.date_range('2000-01-01','2000-01-06'))
# replace field that's entirely space (or empty) with NaN
print(df.replace(r'^\s*$', np.nan, regex=True))
生产:
A B C
2000-01-01 -0.532681 foo 0
2000-01-02 1.490752 bar 1
2000-01-03 -1.387326 foo 2
2000-01-04 0.814772 baz NaN
2000-01-05 -0.222552 NaN 4
2000-01-06 -1.176781 qux NaN
作为 Temak指出,如果您的有效数据包含空格,请使用 df.replace(r'^\s+$', np.nan, regex=True)
。
关于python - 在 Pandas 中用 NaN 替换空白值(空格),我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/13445241/