machine-learning - 如何从 sklearn 包中找出 cv 错误?

标签 machine-learning scikit-learn cross-validation

我试图绘制一条学习曲线,以确定我的模型是否存在高偏差,为了实现这一点,我需要绘制训练集误差与交叉验证集误差的图。在Scikit Learn中有没有办法获取这些信息?

rscv_rfc = grid_search.RandomizedSearchCV(RandomForestClassifier(), param_grid, n_jobs=4, cv=10)

rscv_rfc 为我提供了最佳估计器等,以及模型的最佳参数。有没有办法从该对象接收平均 cv 误差?

最佳答案

RandomizedSearchCV 的文档字符串告诉我们,它公开了包含其评估的所有分数的 grid_scores_。然而,这些都是根据训练集分割中保留的数据评估的分数。

Here是实际评估分数的地方。虽然函数 _fit_and_score 实际上有一个选项 return_train_scores,如果您构建了自己的网格搜索对象,则可以设置该选项,但此处将其设置为 False因此训练分数仍然无法获取。

我想知道将此选项传播到 *SearchCV 对象中通常是否有用。

关于machine-learning - 如何从 sklearn 包中找出 cv 错误?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/25394817/

相关文章:

python - 特征选择: after or during nested cross-validation?

python - 在将 GridSearchCV 与 TimeSeriesSplit 结合使用时,如何正确使用 Scaler

r - 如何在 R 中使用 LibSVM 执行 10 折交叉验证?

tensorflow - Darkflow 在演示上准确,但在代码上不准确

machine-learning - Q-learning 中使用两个以上 Action 进行玻尔兹曼探索

java - 在 Spring boot App 中获取 h2o MOJO 模型(zip 文件)

machine-learning - 寻找神经网络近似的函数

pandas - "None of [Int64Index , 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 25,\n ...... dtype=' int64 ')] are in the [columns]"

python - 将词袋 scikits 分类器与任意数字字段合并

machine-learning - 如何在 sklearn 中使用 SelectFromModel 查找类的积极信息特征