我很好奇 Graphviz 用于回归时生成的决策树的节点中的 value
字段是什么。我知道这是使用决策树分类时每个类中由分割分隔的样本数,但我不确定这对于回归意味着什么。
我的数据有 2 维输入和 10 维输出。以下是我的回归问题的树的示例:
使用此代码生成并使用 webgraphviz 进行可视化
# X = (n x 2) Y = (n x 10) X_test = (m x 2)
input_scaler = pickle.load(open("../input_scaler.sav","rb"))
reg = DecisionTreeRegressor(criterion = 'mse', max_depth = 2)
reg.fit(X,Y)
pred = reg.predict(X_test)
with open("classifier.txt", "w") as f:
f = tree.export_graphviz(reg, out_file=f)
最佳答案
回归树实际返回的输出是最终在各个终端节点(叶子)中的训练样本的因变量(此处为 Y)的平均值;这些平均值显示为名为 value
的列表在图中,这里的长度都是 10,因为你的 Y 是 10 维的。
换句话说,并使用树的最左边的终端节点(叶子)作为示例:
- 叶子由 42 个样本组成,
X[0] <= 0.675
和X[1] <= 0.5
- 这 42 个样本的 10 维输出的平均值在
value
中给出。这次休假的列表,长度确实是10,即Y[0]
的平均值是-152007.382
,Y[1]
的平均值是-206040.675
等等以及Y[9]
的平均值是3211.487
.
您可以通过预测一些样本(来自您的训练或测试集 - 这并不重要)并检查您的 10 维结果是否为 4 value
之一来确认情况是否如此。上面终端叶中描述的列表。
此外,您可以确认,对于 value
中的每个元素,子节点的加权平均值等于父节点的相应元素。再次,使用最左边的 2 个终端节点(叶子)的第一个元素,我们得到:
(-42*152007.382 - 56*199028.147)/98
# -178876.39057142858
即value[0]
其父节点(中间层最左边的节点)的元素。再举一个例子,这次是第一个 value
2 个中间节点的元素:
(-98*178876.391 + 42*417378.245)/140
# -0.00020000000617333822
这再次与 -0.0
一致第一value
根节点的元素。
从value
来看列表中的根节点,似乎 10 维 Y 的所有元素的平均值几乎为零,您可以(并且应该)手动验证这一点,作为最终确认。
所以,总结一下:
value
每个节点的列表包含“属于”相应节点的训练样本的平均 Y 值- 此外,对于终端节点(叶子),这些列表是树模型的实际输出(即输出始终是这些列表之一,具体取决于 X)
- 对于根节点,
value
列表包含整个训练数据集的平均 Y 值
关于machine-learning - 解释决策树回归的 Graphviz 输出,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/48085315/