python - 二元对数损失是否排除了基于 y 的方程的一部分？

Question

假设对数损失方程为:

logLoss=−(1/N)*Σ_{i=1}^N (yi(log(pi))+(1−yi)log(1−pi))

其中 N 是样本数，yi...yiN 是因变量的实际值，pi...piN > 是逻辑回归的预测可能性

我是如何看待它的:

如果 yi = 0 则第一部分 yi(logpi) = 0

或者，如果yi = 1，则第二部分(1−yi)log(1−pi) = 0

现在，根据 y 的值，方程的一部分被排除。我的理解正确吗？

我的最终目标是了解如何解释对数损失的结果。

Answer 1

是的，您走在正确的道路上。请记住，p_i=P(y_i=1)，基本上的想法是，损失函数需要以这样的方式定义，即惩罚预测与实际情况不匹配的元组。标签(例如，当 y_i=1 但 p_i 较低时，由 yi(logpi) 部分处理，或者当 y_i=0 但 p_i 很高，由 (1-yi)log(1-pi) 部分处理)，同时它不应对预测与实际标签匹配的元组进行过多惩罚(例如，当 y_i=1 和 p_i 为高时或当 y_i=0 时) > 且 p_i 较低)。

逻辑回归的损失函数(交叉熵)完全解决了损失函数的上述期望属性，如下图所示。