python - 当并非所有类别都存在于多个特征和数据集中时的虚拟变量

Question

我想询问 this question 的分机号，其中讨论了向缺失的类添加标签，以确保虚拟对象正确编码为空白。

有没有一种方法可以在多组数据中自动执行此操作，并使标签在两者之间自动同步？ (即用于测试和训练集)。 IE。相同的列，但每列中表示的数据类别不同？

例如: 假设我有以下两个数据框:

df1 = pd.DataFrame.from_items([('col1', list('abc')), ('col2', list('123'))])
df2 = pd.DataFrame.from_items([('col1', list('bcd')), ('col2', list('234'))])   

df1
   col1   col2 
1   a     1
2   b     2    
3   c     3
df2
   col1    col2
1   b      2
2   c      3
3   d      4

我想要:

df1
    col1_a col1_b col1_c col1_d col2_1 col2_2 col2_3 col2_4
1   1      0      0      0      1      0      0      0      
2   0      1      0      0      0      1      0      0
3   0      0      1      0      0      0      1      0

df2
    col1_a col1_b col1_c col1_d col2_1 col2_2 col2_3 col2_4
1   0      1      0      0      0      1      0      0
2   0      0      1      0      0      0      1      0
3   0      0      0      1      0      0      0      1

无需提前指定
col1_labels = ['a', 'b', 'c', 'd'], col2_labels = ['1', '2', '3', '4']

我可以同时对许多列系统地执行此操作吗？我正在想象一个函数，当传入两个或多个数据帧时(假设所有列都相同):

1. 读取 pandas 数据框中的哪些列是类别
2. 找出总体标签是什么
3. 然后为每列提供类别标签 这看起来对吗？有更好的办法吗？

Answer 1

我认为你需要reindex如果两个 Dataframe 中的分类列名称相同，则通过所有列的并集:

print (df1)  
  df1
1   a
2   b
3   c

print (df2)
  df1
1   b
2   c
3   d

df1 = pd.get_dummies(df1)
df2 = pd.get_dummies(df2)

union = df1.columns | df2.columns
df1 = df1.reindex(columns=union, fill_value=0)
df2 = df2.reindex(columns=union, fill_value=0)
print (df1)
   df1_a  df1_b  df1_c  df1_d
1      1      0      0      0
2      0      1      0      0
3      0      0      1      0
print (df2)
   df1_a  df1_b  df1_c  df1_d
1      0      1      0      0
2      0      0      1      0
3      0      0      0      1