我在Weka中使用决策树,并且我有一些连续数据,所以当我使用Weka时,它会自动为我找到阈值,但由于某种原因我想自己实现决策树,所以我需要知道使用什么方法找到离散化连续数据的阈值?
最佳答案
ID3和 C4.5使用entropy连续数据离散化的启发式。该方法为每个变量(特征)找到一个二元切割。您可以递归地应用相同的方法从连续数据中获取多个间隔。
假设在某个树节点,所有实例都属于一组S
,并且您正在处理变量A
和特定边界(切割) T
,由T
引起的分区的类信息熵,表示为E(A,T,S)
,由下式给出:
|S1| |S2|
E(A, T, S) = ---- Entropy(S1) + ---- Entropy(S2)
|S| |S|
其中 |S1|
是第一个分区中的实例数; |S2|
是第二个分区中的实例数; |S| = |S1|+|S2|
.
对于给定的特征A
,选择最小化所有可能分区边界上的熵函数的边界T_min
作为二元离散化边界。
例如,您可能有一个变量Length
,所有可能的值为:
Length = {2.1, 2.8, 3.5, 8.0, 10.0, 20.0, 50.0, 51.0}
那么你的T
可能是:
T = {2.1, 2.8, 3.5, 8.0, 10.0, 20.0, 50.0, 51.0}
您可以在其中剪切每个可能的Length
值。您还可以在相邻Length
值的每个中间点进行切割,例如,
T = {2.45, 3.15, 5.75, 9.0, 15.0, 35.0, 50.5}
在离散化时,您将迭代所有可能的 T
值,并评估哪一个获得最小 E(A, T, S)
。就是这样。
查看更多详细信息 paper ,其中还描述了其他可选方法:
- ChiMerge 离散化方法。
- 基于学习矢量量化 (LVQ) 的方法
- 基于直方图的方法。
关于machine-learning - 连续数据决策树中寻找阈值的方法,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/33501039/