python - 构建决策树

Question

构建决策树时，在每个节点，我们选择最佳特征，然后选择该特征的最佳分割位置。 但是，当当前节点/集合中的样本的最佳特征的所有值为 0 时，我该怎么办？所有样本继续分组到一侧(<= 0 分支)，并发生无限循环。 例如:

#left: 1500, #right: 0

那么，

#left: 1500, #right: 0

等等...

仅供引用，我遵循以下伪代码。

GrowTree(S)
if (y_i = C for all i in S and some class C) then {
 return new leaf(C)                             
 } else {
 choose best splitting feature j and splitting point beta (*)
 I choose the one that gives me the max entropy drop
 S_l = {i : X_ij < beta}                           
 S_r = {i : X_ij >= beta}
 return new node(j, beta, GrowTree(S_l), GrowTree(S_r))

}

Answer 1

这根本不可能。您应该选择能够最大程度提高模型确定性的阈值。使用将每个实例放在同一分支中的阈值可以使模型确定性增加 0，因此这不是最佳分割。当且仅当此特征中的杂质/熵已经为 0 时，才会发生这种情况，但它是在决策树中创建叶子的停止标准。