machine-learning - Lightgbm(或其他具有损失的二阶近似值的增强树实现)如何处理 L1 损失？

Question

我一直在尝试了解 Lightgbm Handless L1 是如何丢失的(MAE、MAPE、HUBER)

根据to this article ，分割期间的增益应仅取决于损失函数的一阶和二阶导数。这是因为 Lightgbm 使用损失函数的二阶近似，因此我们可以将损失近似如下

然而，对于 L1 损失，损失梯度的绝对值是恒定的，其粗麻布为 0。我也读过这篇文章来处理这个问题，for loss functions with hessian = 0 we should rather use 1 as the Hessian :

"For these objective function with first_order_gradient is constant, LightGBM has a special treatment for them: (...) it will use the constant gradient for the tree structure learning, but use the residual for the leaf output calculation, with percentile function, e.g. 50% for MAE. This solution is from sklearn, and is proven to work in many benchmarks."

但是，即使使用常量粗麻布对我来说也没有意义:例如，如果使用 MAE 时梯度是误差的符号，则平方梯度不会为我们提供信息。这是否意味着当梯度恒定时，LightGbm不使用二阶近似，而默认使用传统的梯度提升？

另一方面，当阅读有关 GOSS boosting 原版 lightgbm paper 的内容时

对于 GOSS boosting 策略，作者考虑了梯度总和的平方。我看到了与上面相同的问题:如果 MAE 的梯度是误差的符号，那么梯度的平方如何反射(reflect)增益？这是否意味着 GOSS 也不适用于具有恒定梯度的损失函数？

提前致谢，

Answer 1

我在 Lightgbm 存储库中询问了这个问题并得到了这个 answer :

Before this version, we use the second-order approximation, but its performance actually is not good. And we switch back to 1) use first-order gradient to find split point; 2) then use the median of residuals for leaf outputs, as shown in the above code.

看来 Lightgbm 将使用梯度下降来处理已经实现的 L1 损失。对于自定义损失函数，它仍然会尝试执行大约二阶操作。