Python pandas从一列字符串的数据选择中过滤掉nan

Question

如果不使用 groupby 我将如何过滤掉没有 NaN 的数据？

假设我有一个矩阵，客户将填写 'N/A','n/a' 或其任何变体，其他人将其留空:

import pandas as pd
import numpy as np


df = pd.DataFrame({'movie': ['thg', 'thg', 'mol', 'mol', 'lob', 'lob'],
                  'rating': [3., 4., 5., np.nan, np.nan, np.nan],
                  'name': ['John', np.nan, 'N/A', 'Graham', np.nan, np.nan]})

nbs = df['name'].str.extract('^(N/A|NA|na|n/a)')
nms=df[(df['name'] != nbs) ]

输出:

>>> nms
  movie    name  rating
0   thg    John       3
1   thg     NaN       4
3   mol  Graham     NaN
4   lob     NaN     NaN
5   lob     NaN     NaN

我将如何过滤掉 NaN 值，以便我可以得到这样的结果:

  movie    name  rating
0   thg    John       3
3   mol  Graham     NaN

我猜我需要像 ~np.isnan 这样的东西，但 tilda 不适用于字符串。

Answer 1

最简单的解决方案:

filtered_df = df[df['name'].notnull()]

因此，它只过滤掉 'name' 列中没有 NaN 值的行。

对于多列:

filtered_df = df[df[['name', 'country', 'region']].notnull().all(1)]