python-3.x - 如何使用带有预定义分割折叠的显式验证集？

Question

我有明确的训练、测试和验证集作为二维数组:

X_train.shape
(1400, 38785)
X_val.shape
(200, 38785)
X_test.shape
(400, 38785)

我正在调整 alpha 参数，需要有关如何使用其中预定义验证集的建议:

from sklearn.naive_bayes import MultinomialNB
from sklearn.model_selection import GridSearchCV, PredefinedSplit

nb = MultinomialNB()
nb.fit(X_train, y_train)

params = {'alpha': [0.1, 1, 3, 5, 10,12,14]}
# how to use on my validation set?
# ps = PredefinedSplit(test_fold=?)

gs = GridSearchCV(nb, param_grid=params, cv = ps,  return_train_score=True, scoring='f1')

gs.fit(X_train, y_train)

到目前为止我的结果如下。

# on my validation set, alpha = 5
gs.fit(X_val, y_val)
print('Grid best parameter', gs.best_params_)
Grid best parameter:  {'alpha': 5}

# on my training set, alpha = 10
Grid best parameter:  {'alpha': 10}

我已阅读以下问题和文档，但我不确定如何在我的情况下使用 PredefinedSplit() 。谢谢。

Order between using validation, training and test sets

https://scikit-learn.org/stable/modules/cross_validation.html#predefined-fold-splits-validation-sets

Answer 1

您可以通过合并 X_train 和 X_val 并传递 PredefinedSplit 标签列表来实现您想要的结果，其中 -1 表示训练数据，1 表示验证数据。浏览器，

X = np.concatenate((X_train, X_val))
y = np.concatenate((y_train, y_val))
ps = PredefinedSplit(np.concatenate((np.zeros(len(x_train) - 1, np.ones(len(x_val))))

gs = GridSearchCV(nb, param_grid=params, cv = ps,  return_train_score=True, scoring='f1')

gs.fit(X, y)  # not X_train, y_train

但是，除非有充分的理由支持单独的验证集，否则如果您使用 k 倍交叉验证来调整超参数而不是使用专用的验证集，则可能会减少过度拟合。