随机搜索是机器学习中超参数优化的一种可能性。我应用随机搜索来搜索带有 RBF 内核的 SVM 分类器的最佳超参数。除了连续 Cost 和 gamma 参数之外，我还有一个离散参数以及对某些参数的等式约束。
现在，我想进一步开发随机搜索，例如通过自适应随机搜索。这意味着例如搜索方向或搜索范围的调整。
有人知道如何做到这一点或者可以引用一些现有的工作吗？也欢迎其他改进随机搜索的想法。
最佳答案
为什么你要尝试重新发明轮子？超参数优化是一个深入研究的主题，至少有一些最先进的方法可以简单地解决 SVM 的问题，包括:
- 贝叶斯优化(通常通过使用高斯过程对模型质量进行建模)，例如参见 bayesopt http://rmcantin.bitbucket.org/html/
- parzen 估计器树(有时更适合离散、复杂的超参数空间)(特别是)包含在 hyperopt http://hyperopt.github.io/hyperopt/ 中
关于machine-learning - 超参数优化随机搜索的改进，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/37332499/