我已经对我的 lstm 超参数进行了一些贝叶斯超参数优化实验。
我使用的方法是使用高斯过程和 TPE 算法对误差进行建模。 他们工作得很好。
我想知道这些策略在哪里被称为“贝叶斯”。 谁能解释一下超参数优化中的“贝叶斯”是什么意思？
谢谢
最佳答案
首先，Gaussian processes fall under the domain of Non-parametric Bayesian learning models ，这意味着它们通常被视为贝叶斯模型。另一方面，树结构 Parzen 估计器从根本上依赖于贝叶斯规则:它对 p(x|y) 和 p(y) 进行建模，我们可以用它们来通过贝叶斯法则得到p(y|x)。
但无论人们何时提及贝叶斯优化，他们更多地谈论的是搜索方法本身。 如果某件事涉及(1)概率性先验信念和(2)在获得新证据时更新信念的原则性方法，则该事物是贝叶斯主义的。 例如，GP 形成了函数的先验，以及更新后验(获得新证据后的新分布)的方法，这正是我们想要的想要贝叶斯机器学习。
通常所做的事情是从(超)参数空间的贝叶斯先验开始(编码您对性能应该如何的先前信念)。
我们定义一个获取函数 a(x)，它帮助我们选择接下来要查看的参数。由于我们有概率贝叶斯模型，因此我们有不确定性的概念:例如，我们可能知道模型在特定点的预测分布的方差。在远离我们观测值的点，方差会很高，而在靠近我们观测值的点，方差会很低。换句话说，我们有一个分布p(y|x)。这种对不确定性的明确解释是贝叶斯方法的巨大好处。
获取函数a(x)通常必须平衡两个因素:(1)不确定性，因为在不确定的区域可能存在我们尚未看到的“隐藏的 gem ”，以及( 2) 经过验证的性能(即，我们应该停留在我们观察到的、我们知道良好的空间区域)。因此，人们可能会设计a(x)来最小化分布中的熵(不确定性)，或者最大化贝叶斯惊喜，这意味着“选择在观察时导致后验分布发生最大变化的点”。类似的方法用于强化学习中的探索(搜索“贝叶斯惊喜”或“好奇心”)；任何涉及更新“后验信念”的此类方法通常被认为是贝叶斯方法。
TLDR:它们是贝叶斯模型，因为它们涉及从先验概率开始并迭代更新后验概率作为信念。
关于machine-learning - 贝叶斯超参数优化，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/56792299/