python - 为什么随机森林的大小随着训练样本数量的增加而增加？

Question

过去几个月我一直在定期训练 sklearn 随机森林。我注意到，当使用 joblib 将模型导出到文件时，文件大小急剧增加 - 从 2.5 GB 增加到 11GB。所有参数保持不变，训练特征的数量保持固定。唯一的区别是训练数据中的示例数量增加了。

鉴于参数保持固定，并且指定了估计器的数量和每棵树的深度，为什么增加示例数量会产生增加随机森林大小的效果？

以下是模型的参数:

RandomForestClassifier(bootstrap=True, class_weight=None, criterion='gini',
        max_depth=None, max_features='sqrt', max_leaf_nodes=None,
        min_impurity_decrease=0.0, min_impurity_split=None,
        min_samples_leaf=20, min_samples_split=2,
        min_weight_fraction_leaf=0.0, n_estimators=1000, n_jobs=-1,
        oob_score=False, random_state=123, verbose=0, warm_start=False)

Answer 1

我会将 min_samples_leaf 设置为浮点，那么它是训练数据集的百分比。例如，min_samples_leaf=0.01 每片叶子中至少有 1% 的样本。

要优化模型的大小，您可以在 min_samples_leaf 和 n_estimators 上使用 GridSearchCV。除非您有大量的类和特征，否则您可能可以将模型大小减少几个数量级。