MCTS算法的步骤是:
- 选择
- 扩张
- 模拟
- 反向传播
我的问题涉及第三步,模拟。我们用一个新节点扩展了我们的决策树,并模拟了剩余的 Action ,直到游戏结束。这个模拟可以分为两部分:
- 轮到我们利用决策树中的策略
- 轮流为双方玩家设置随机移动(或使用特定于游戏的替代默认策略)
本出版物的图 1 显示了分隔两个阶段的 MCTS 树线:http://www.ru.is/faculty/yngvi/pdf/FinnssonB09a.pdf
我对第一部分感到困惑。为了模拟游戏,我们首先在第一个节点采用我们的树策略,然后对手移动,然后我们采用另一个树策略移动,依此类推,直到我们到达在算法的第 2 步中创建的节点。在我们到达树线之前,我们让对手在我们的树策略移动之间采取什么行动?一个随机移动的对手可能会阻止我们采取下一个树策略移动。还是我有其他的误解?
最佳答案
新节点位于决策树的底部。此决策树代表双方 玩家的移动。当您位于树中的一个节点时,树包含一个精确的移动序列,该移动序列以该位置结束。
其余的 Action 根据播放步骤进行模拟。
在实践中,计算机通常不需要一直模拟第一阶段的 Action 。相反,它只会缓存节点的位置,然后可以从该点重复开始播出模拟。
关于algorithm - 蒙特卡洛树搜索 : Opponent moves before MCTS tree border,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/44728600/