我有一个由因子变量、数值变量和目标列组成的大型数据集,我试图正确地输入 xgboost,目的是制作 xgb.Matrix 并训练模型。
我对将数据帧放入 xgb.DMatrix 对象的正确处理感到困惑。具体来说,我在因子和数字变量中都有 NA,我想在创建 xgb.Matrix 之前从我的数据框中创建一个 sparse.model.matrix。对 NA 的正确处理真的让我很困惑。
我有以下示例数据框 df
由一个二元分类变量、两个连续变量和一个目标组成。分类变量和一个连续变量具有 NA
'data.frame': 10 obs. of 4 variables:
$ v1 : Factor w/ 2 levels "0","1": 1 2 2 1 NA 2 1 1 NA 2
$ v2 : num 3.2 5.4 8.3 NA 7.1 8.2 9.4 NA 9.9 4.2
$ v3 : num 22.1 44.1 57 64.2 33.1 56.9 71.2 33.9 89.3 97.2
$ target: Factor w/ 2 levels "0","1": 1 1 2 2 1 1 1 2 1 1
v1 v2 v3 target
1 0 3.2 22.1 0
2 1 5.4 44.1 0
3 1 8.3 57.0 1
4 0 NA 64.2 1
5 <NA> 7.1 33.1 0
6 1 8.2 56.9 0
7 0 9.4 71.2 0
8 0 NA 33.9 1
9 <NA> 9.9 89.3 0
10 1 4.2 97.2 0
sparse.model.matrix
来自 matrix
图书馆不接受 NA。它消除了行(我不想要的)。所以我需要将 NA 更改为数字替换,如 -999
如果我使用简单的命令:
df[is.na(df)] = -999
它只替换数字列中的 NA:
v1 v2 v3 target
1 0 3.2 22.1 0
2 1 5.4 44.1 0
3 1 8.3 57.0 1
4 0 -999.0 64.2 1
5 <NA> 7.1 33.1 0
6 1 8.2 56.9 0
7 0 9.4 71.2 0
8 0 -999.0 33.9 1
9 <NA> 9.9 89.3 0
10 1 4.2 97.2 0
所以我首先(认为我)需要将因子变量更改为数字,然后再做
替代。这样做我得到:
v1 v2 v3 target
1 1 3.2 22.1 0
2 2 5.4 44.1 0
3 2 8.3 57.0 1
4 1 -999.0 64.2 1
5 -999 7.1 33.1 0
6 2 8.2 56.9 0
7 1 9.4 71.2 0
8 1 -999.0 33.9 1
9 -999 9.9 89.3 0
10 2 4.2 97.2 0
但是将因子变量转换回因子(我认为这是必要的
所以 xgboost 稍后会知道它的一个因素)我得到三个级别:
data.frame': 10 obs. of 4 variables:
$ v1 : Factor w/ 3 levels "-999","1","2": 2 3 3 2 1 3 2 2 1 3
$ v2 : num 3.2 5.4 8.3 -999 7.1 8.2 9.4 -999 9.9 4.2
$ v3 : num 22.1 44.1 57 64.2 33.1 56.9 71.2 33.9 89.3 97.2
$ target: Factor w/ 2 levels "0","1": 1 1 2 2 1 1 1 2 1 1
我现在最终不确定制作 sparse.model.matrix 并最终
xgb.matrix 对象将是有意义的,因为 v1 看起来很困惑。
更令人困惑的是,
xgb.Dmatrix()
有争论 missing
我可以用它来识别代表 NA 的数值 (-999)。但是这个只能用于稠密矩阵。如果我提交密集矩阵,我会
只需要 NA 就不需要了。然而,在稀疏矩阵中
在我有 -999 的地方,我无法使用它。
我希望我没有忽视一些简单的事情。已通过 xgboost.pdf广泛并在谷歌上查看。
请帮忙。提前致谢。
最佳答案
options(na.action='na.pass')
正如@mtoto 所提到的,是处理这个问题的最佳方法。它将确保您在构建模型矩阵时不会丢失任何数据。
特别是 XGBoost 实现;在 NAs 的情况下,在种植树的同时进行分割时检查更高的增益。因此,例如,如果不考虑 NA 的拆分被决定为变量 var1
的(范围 [0,1]
)值为 0.5 然后计算增益考虑 var1
NA 应 < 0.5 和 > 0.5。对于任何拆分方向,它都会获得更多增益,它将 NA 归因于具有该拆分方向。所以 NA 现在有一个范围 [0,0.5]
或 [0.5,1]
但不是分配给它的实际值(value)(即推算)。引用(原作者 tqchen 于 2014 年 8 月 12 日的 comment)。
如果您在那里输入 -99xxx,那么您就限制了学习 NA 正确范围(以标签为条件)的算法能力。
关于r - 使用 NA 为稀疏矩阵和 XGBOOST 准备数据,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/39748088/