machine-learning - 如何解释SoftMax回归中的 "soft"和 "max"？

Question

我知道softmax回归的形式，但我很好奇它为什么有这样的名字？或者只是出于某些历史原因？

Answer 1

两个数字的最大值 max(x,y) 可能具有尖角/陡峭边缘，这有时是不需要的属性(例如，如果您想计算梯度)。

要柔化 max(x,y) 的边缘，可以使用一种具有较软边缘的变体:softmax 函数。它的核心仍然是一个 ma​​x 函数(嗯，准确地说，它是它的近似值)，但经过了平滑处理。

如果还是不清楚，here's一本好书。