python - sklearn : how to make fit and transform a feature selector in a GridSearchCV

Question

我正在我的数据集上试验特征选择，我注意到 a) 将特征选择放入 GridSearchCV 对象中包裹的 Pipeline 中并调用“fit”，以及 b) 在特征选择器上调用 fit_transform 然后得到不同的结果将 GridSearhCV 应用到分类器上，从特征选择器中获取 fit_transformed 特征矩阵。是因为“fit”和“fit_transform”之间的区别吗？不确定我是否说清楚了，但这里是 gridsearch 的代码:

fs=SelectFromModel(LogisticRegression(class_weight='balanced',penalty="l1",C=0.01))
fs_params = {} #deliberately leaving these empty for comparison
classifier = svm.LinearSVC()
cl_params = {} #deliberately leaving these empty for comparison
pipe = []
params=[]
pipe.append(('fs', fs))
params.append(fs_params)    
pipe.append(('classify', classifier))
params.append(cl_params)
pipeline=Pipeline(pipe)
piped_classifier = GridSearchCV(pipeline, param_grid=params, cv=10,
                              n_jobs=-1)
piped_classifier.fit(X_train, y_train)

nfold_predictions=cross_val_predict(piped_classifier.best_estimator_, X_train, y_train, cv=10)

best_estimator = piped_classifier.best_estimator_
best_param = piped_classifier.best_params_    
cv_score = piped_classifier.best_score_ 
#followed by code to print scores

以及在 GridSearchCV 之外进行特征选择的代码:

select = SelectFromModel(LogisticRegression(class_weight='balanced',penalty="l1",C=0.01))
X_ = select.fit_transform(X_train,y_train) #line A
classifier = svm.LinearSVC()
piped_classifier = GridSearchCV(classifier, param_grid=params, cv=10,
                              n_jobs=-1)
piped_classifier.fit(X_, y_train)

nfold_predictions=cross_val_predict(piped_classifier.best_estimator_, X_, y_train, cv=10)

best_estimator = piped_classifier.best_estimator_
best_param = piped_classifier.best_params_    
cv_score = piped_classifier.best_score_ 
#followed by code to print scores

对于第一个代码，我得到的分数如下:

P=0.31  R=0.17  F1=0.22

而第二个，分数更好:

P=0.41  R=0.28  F=0.33

我能想到的唯一可能导致这个问题的是第二个代码片段中的A行，它调用了fit_transform。除此之外，我认为这两个代码片段应该执行相同的任务。

非常感谢任何建议。

Answer 1

一般来说，您应该预期可能由于 data leakage 而导致不同的结果

在第二个片段中，gridsearch 在 X_train 的切片上训练 svc，但是，特征选择是在所有 X_train 上训练的

在第一个示例中，您避免了这个问题。

这会严重降低泛化性能。但是，目前还不清楚如何获得 P、R 和 F 的信息。它们来自测试集吗？

但是，我不确定这是否可以解释指标差异的严重程度。至少您的代码显示了使用数据泄漏时典型的过度拟合，并且在管道化特征选择时性能会下降。

您可能还想查看 scikit-learn documentation on nested cross-validation

让我添加一个重要的注释:在第二种方法中，您将修复一开始传递给 svc 的功能。因此，svc 将在每次折叠时使用相同的功能。而在第一个示例中，传递给网格搜索的特征可能会因折叠而异!