python - Pandas sklearn one-hot 编码数据帧还是 numpy？

Question

如何将 pandas 数据帧转换为 sklearn one-hot-encoded(数据帧/numpy 数组)，其中某些列不需要编码？

mydf = pd.DataFrame({'Target':[0,1,0,0,1, 1,1],
                   'GroupFoo':[1,1,2,2,3,1,2],
                    'GroupBar':[2,1,1,0,3,1,2],
                    'GroupBar2':[2,1,1,0,3,1,2],
                    'SomeOtherShouldBeUnaffected':[2,1,1,0,3,1,2]})
columnsToEncode = ['GroupFoo', 'GroupBar']

是否已对标签编码数据帧进行编码，而我只想对由 columnsToEncode 标记的列进行编码？

我的问题是，我不确定 pd.Dataframe 或 numpy 数组表示是否更好，以及如何将编码部分与另一个部分重新合并。

到目前为止我的尝试:

myEncoder = OneHotEncoder(sparse=False, handle_unknown='ignore')
myEncoder.fit(X_train)
df = pd.concat([
         df[~columnsToEncode], # select all other / numeric
        # select category to one-hot encode
         pd.Dataframe(encoder.transform(X_train[columnsToEncode]))#.toarray() # not sure what this is for
        ], axis=1).reindex_axis(X_train.columns, axis=1)

注意:我知道 Pandas: Get Dummies/http://pandas.pydata.org/pandas-docs/stable/generated/pandas.get_dummies.html但这在训练/测试分割中效果不佳，我需要每次折叠都进行这样的编码。

Answer 1

这个库提供了几个分类编码器，使 sklearn/numpy 能够与 pandas 很好地配合 https://github.com/wdm0006/categorical_encoding

但是，他们还不支持“处理未知类别”

现在我会使用

myEncoder = OneHotEncoder(sparse=False, handle_unknown='ignore')
myEncoder.fit(df[columnsToEncode])

pd.concat([df.drop(columnsToEncode, 1),
          pd.DataFrame(myEncoder.transform(df[columnsToEncode]))], axis=1).reindex()

因为这支持未知的数据集。现在，我会坚持使用 half-pandas half-numpy，因为 pandas 标签很好。对于数字列。