在python中实现的adaboost算法究竟是如何为每个特征分配特征重要性的?我将它用于特征选择,我的模型在基于 feature_importance_ 的值应用特征选择时表现更好。
最佳答案
feature_importances_
当基分类器是决策树时,是 sklearn 的 adaboost 算法可用的属性。为了了解如何feature_importances_
在adaboost算法中计算的,首先需要了解对于决策树分类器是如何计算的。
决策树分类器:feature_importances_
将根据您选择的拆分标准而有所不同。当拆分条件设置为“熵”时:DecisionTreeClassifier(criterion='entropy')
feature_importances_
相当于每个特征的信息增益。 Here is a tutorial关于如何计算每个特征的信息增益(特别是幻灯片 7)。当您更改拆分条件时,feature_importances_
不再等同于信息增益,但是您计算它所采取的步骤与幻灯片 7 中采取的步骤类似(使用新的分割标准代替熵)。
集成分类器 :
现在让我们回到您最初的问题,即如何为 adaboost 算法确定它。 According to the docs :
This notion of importance can be extended to decision tree ensembles by simply averaging the feature importance of each tree
关于feature-selection - scikit adaboost feature_importance_,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/36665511/