在模拟退火 (SA) 中有一个目标函数 E(s) 定义了从一个状态 s 移动到另一个状态 s' 的转换概率。理想情况下，目标函数最小值对应于最优解。
在强化学习 (RL) 中，我们有一个值函数 v(s)，它给出了当前状态 s 的好坏程度的值。
函数中还有一个为当前状态和 Action 的组合赋值的函数，但我不想将其与 SA 进行比较。
所以我现在的问题是，E(s) 和 v(s) 之间有什么区别？
最佳答案
模拟退火 (SA) 和强化学习 (RL) 算法旨在解决不同类别的问题。前者旨在找到全局最优，而后者旨在找到使奖励最大化的策略(不是直接奖励或状态)。更准确地说，在 RL 中，agent 会根据奖励及其当前状态(反馈)采取行动。智能体的策略可以看作是一张 map ，它定义了在给定状态下执行某项操作的概率，而值(value)函数则定义了在考虑所有 future 操作的状态下有多好。
RL 算法可用于优化游戏中代理的策略，只要您可以为玩家分配分数。奖励通常可以是两个时间步长(即回合)之间的分数差。对于许多游戏，例如国际象棋，对手可以影响代理的状态，代理可以根据反馈循环对其使用react。这种情况下的目标是找到使获胜机会最大化的操作序列。天真地使用 SA 解决这样的问题没有多大意义:没有必要找到最佳的全局状态。事实上，如果我们尝试在这种情况下应用 SA，一个好的对手会很快阻止 SA 收敛到一个好的全局最优。事实上，SA不考虑对手，也不关心操作顺序，SA只关心结果。
或者，如果您想找到可导出数学函数(例如高阶多项式)的最小值，那么 RL 算法就毫无用处(且效率低下)，因为它们专注于优化最优策略，而您不需要那个(虽然最优策略可以帮助找到全局最优，SA 已经很好)，你只想要最优状态(可能还有它相关的目标值)。
另一个关键区别是 AFAIK E(s) 在 SA 中是预定义，而 V(s) 通常是未知的并且必须是由 RL 算法发现。这是一个巨大的差异，因为在实践中 V(s) 取决于 RL 算法也需要找到的策略。如果 V(s) 已知，则可以简单地推导出策略(代理需要执行最大化 V(s) 的操作)并且如果最优策略是已知，则 V(s) 可以从马尔可夫链近似计算。
关于optimization - 目标函数(SA)和值(value)函数(RL)有什么区别，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/72482683/