我目前正在尝试了解 TD-Gammon 的工作原理，并有两个问题:
1) 我找到了 article这解释了权重更新。它由三部分组成。最后一部分是 V(s) 对 w 的微分。在文本中，它被称为“运行总和”。我如何计算该值？ (我只对从输出到隐藏层的权重变化感兴趣，而不是进一步的权重变化)
2)读完权重更新过程后，出现了一个问题:为什么我们不使用强化学习为状态创建一个目标值，并将该值赋予我们的神经网络，以便它学习返回当前状态的值？为什么要多一个直接操作权重的更新规则？
最佳答案
实际上，您只需要实现一个使用基本的、常见的平方和误差的 ANN 即可。然后，用 TD 误差值替换目标网络输出:E = r + gamma*V(t+1) - V(t)
从那里，您可以使用典型的 ANN 反向传播权重更新规则。
所以，简而言之，我认为你的描述实际上是通过 ANN 算法进行 RL 应该做的事情。它正在训练人工神经网络来学习状态/ Action 值(value)函数。
关于neural-network - 权重更新——强化学习+神经网络，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/13981880/