machine-learning - svmlight警告: Relaxing epsilon on KT-Conditions

Question

我正在尝试使用 Svmlight 学习数据集。在优化过程中我总是看到以下警告。

WARNING: Relaxing epsilon on KT-Conditions (0.010000).
.....................................................
WARNING: Relaxing epsilon on KT-Conditions (0.100000).
.....................................................
WARNING: Relaxing epsilon on KT-Conditions (1.000000).
.....................................................
WARNING: Relaxing epsilon on KT-Conditions (10.00000).
....................................................

这很重要吗？它意味着什么？目前训练还没有成功。是否与此警告有关？谢谢。

Answer 1

KT 条件是 SVM 核心优化问题的一部分。无需过多详细讨论该理论，当您获得最佳解决方案时，一系列条件都将成立。然而，通过足够的迭代来使 KT 条件完全为真比仅仅使它们在 espilon(非常小的数字)内为真需要更长的时间。本质上，我们不是说 A 必须等于 B，而是说 A 必须在 + 或 - epsilon 范围内等于 B。研究发现，这在实践中与花额外的时间让条件完全正确一样有效。

SVM Light 首先尝试使用非常小的 epsilon，当它无法解决该问题时，它会通过将其变大来放松 epsilon，以尝试找到一个，但显然，如果问题无法解决，它会尝试几次在决定它无法解决之前。

所以我想说这些警告是因为你的问题无法解决，而不是相反。