python - 将列中的任意字符串替换为 1

标签 python replace pandas

我正在和 Pandas 一起工作。我的目标是将数据帧中包含 NaN 或字符串数​​据的几列转换为或多或少的虚拟变量(0 代表 NaN;1 代表任何字符串)。我想在不使用完整的字符串列表并替换它们的情况下执行此操作,因为存在拼写错误,这会导致错误。我已经能够使用 fillna 函数将所有 NaN 数据替换为 0,这就像做梦一样!

我希望有类似的东西,将所有字符串数据替换为 1,但保留 0。我搜索过 stackoverflow 和其他地方,但收效甚微。

数据大致如下所示,我只想将其应用于以 T_ 开头的列:

    fol    T_opp    T_Dir    T_Enh   Activity
    1      0        0        vo      hf
    2      vr       0        0       hx
    2      0        0        0       fe
    3      0        bt       0       rn

我希望输出看起来相同,但是用“vr”“bt”和“vo”分别替换为整数1。据我所知,pd get_dummies 函数不是我想要的为了。我也无法使用replace() 来完成这项工作。我尝试使用 T/F 掩码和零列表进行一些操作,但结果非常错误,我懒得在这里发布代码。

已编辑:我在上面的玩具数据中添加了一个附加列。 “事件”列是一些我不想触及的数据,也是字符串。

最佳答案

您可以通过使用正则表达式的 DataFrame.replace() 来完成此操作:

In [14]: df
Out[14]:
   fol T_opp T_Dir T_Enh
0    1     0     0    vo
1    2    vr     0     0
2    2     0     0     0
3    3     0    bt     0

In [15]: df.replace(regex={'vr|bt|vo': '1'}).convert_objects(convert_numeric=True)
Out[15]:
   fol T_opp T_Dir T_Enh
0    1     0     0     1
1    2     1     0     0
2    2     0     0     0
3    3     0     1     0

如果由于某种原因你反对 dict,你也可以非常明确地表达出来:

In [19]: df.replace(regex='vr|bt|vo', value='1')
Out[19]:
   fol T_opp T_Dir T_Enh
0    1     0     0     1
1    2     1     0     0
2    2     0     0     0
3    3     0     1     0

但是等等还有更多!您可以通过传递嵌套的 dict 来指定要操作的列(键不能是正则表达式,好吧,它们可以,但除了返回框架):

In [22]: df.replace({'T_opp': {'vr': 1}, 'T_Dir': {'bt': 1}})
Out[22]:
   fol T_opp T_Dir T_Enh
0    1     0     0    vo
1    2     1     0     0
2    2     0     0     0
3    3     0     1     0

编辑:由于您将所有字符串替换为数字1(根据您下面的评论),请执行以下操作:

In [23]: df.replace(regex={r'\D+': 1})
Out[23]:
   fol T_opp T_Dir T_Enh
0    1     0     0     1
1    2     1     0     0
2    2     0     0     0
3    3     0     1     0

编辑:微基准测试在这里可能有用:

安迪的方法(更快):

In [11]: timeit df.convert_objects(convert_numeric=True).fillna(1)
1000 loops, best of 3: 590 µs per loop

DataFrame.replace():

In [46]: timeit df.replace(regex={r'\D': 1})
1000 loops, best of 3: 801 µs per loop

如果您的列包含要保留的字符串

In [45]: cols_to_replace = 'T_opp', 'T_Dir', 'T_Enh'

In [46]: d = dict(zip(cols_to_replace, [{r'\D': 1}] * len(cols_to_replace)))

In [47]: d
Out[47]: {'T_Dir': {'\\D': 1}, 'T_Enh': {'\\D': 1}, 'T_opp': {'\\D': 1}}

In [48]: df.replace(d)
Out[48]:
   fol T_opp T_Dir T_Enh Activity
0    1     0     0     1       hf
1    2     1     0     0       hx
2    2     0     0     0       fe
3    3     0     1     0       rn

另一种方法是使用过滤器并在替换后将结果连接在一起:

In [10]: df
Out[10]:
   fol T_opp T_Dir T_Enh Activity
0    1     0     0    vo       hf
1    2    vr     0     0       hx
2    2     0     0     0       fe
3    3     0    bt     0       rn

In [11]: filtered = df.filter(regex='T_.+')

In [12]: res = filtered.replace({'\D': 1})

In [13]: res
Out[13]:
  T_opp T_Dir T_Enh
0     0     0     1
1     1     0     0
2     0     0     0
3     0     1     0

In [14]: not_filtered = df[df.columns - filtered.columns]

In [15]: not_filtered
Out[15]:
  Activity  fol
0       hf    1
1       hx    2
2       fe    2
3       rn    3

In [16]: res.join(not_filtered)
Out[16]:
  T_opp T_Dir T_Enh Activity  fol
0     0     0     1       hf    1
1     1     0     0       hx    2
2     0     0     0       fe    2
3     0     1     0       rn    3

请注意,列的原始顺序不会保留。

您可以使用正则表达式来搜索列名,如果您有许多列要保留,这可能比显式构造列表更有用。 - 运算符在与两个 Index 对象一起使用时执行设置差异(df.columns 是一个 Index)。

之后您可能需要调用 DataFrame.convert_objects() ,除非您的列是混合字符串/整数列。我的解决方案假设它们都是字符串,因此我调用 convert_objects() 将值强制为 int dtype

关于python - 将列中的任意字符串替换为 1,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/19191832/

相关文章:

python - 如何在python中将一个函数的变量运行到另一个函数?

python - 从字符串中提取多个子字符串

r - 如何将R中除某些字母外的所有字母大写

Python:如何从 shapefile 计算指标的空间自相关?

python - Pandas - 当字符串匹配时选择两个值之间的所有行

python - 如何一次从 matplotlib 中导出一个图例标记?

html - 停止 jupyter notebook 在 pandas html 表输出中包装单元格内容

python - CSV 中的字典列表

python - Excel 或 Access 将某些行更改为列

javascript - 使用 JS/JQuery 将大文本转换为缩写或短字符串