关闭。这个问题需要debugging details .它目前不接受答案。
想改善这个问题吗?更新问题,使其成为 on-topic对于堆栈溢出。
7年前关闭。
Improve this question
alt text http://img693.imageshack.us/img693/724/markov.png
我对这里的一些观点有点困惑:
是否有可能推断出什么是
折扣因子( Gamma )?如果是,如何?
国家的奖励?如何?
最佳答案
有一种处理大多数 MDP 问题的模式,但我认为您可能在问题描述中遗漏了一些信息,很可能与您试图达到的状态或一集结束的方式有关(什么如果你跑出网格的边缘,就会发生这种情况)。我已尽力回答您的问题,但我已附上有关我用来处理此类问题的过程的入门。
首先,效用是一个相当抽象的衡量你想要处于给定状态的程度。即使您使用简单的启发式方法(欧几里德距离或曼哈顿距离)来衡量效用,也绝对可以拥有具有相同效用的两个状态。在这种情况下,我假设效用值(value)和奖励是可以互换的。
从长远来看,这些类型问题的目标往往是,您如何最大化您的预期(长期)返回?学习率 gamma 控制您对当前状态的重视程度与您希望结束的位置 - 实际上,您可以将 gamma 视为一个范围,从“在此时间步中做对我最有利的事情”到在另一个极端“探索我所有的选择,然后回到最好的选择”。萨顿和巴托在那里预订 reinforcement learning有一些非常好的explanations这是如何工作的。
在开始之前,请回顾问题并确保您可以自信地回答以下问题。
那么问题的答案呢?
开始状态 Action 最终状态概率
-------------------------------------------------- ——
(0,0) E (0,0) 0.3
(0,0) E (1,0) 0.7
(0,0) E (2,0) 0
...
(0,0) E (0,1) 0
...
(0,0) E (4,4) 0
(0,0) N (0,0) 0.3
...
(4,4) 宽 (3,4) 0.7
(4,4) 宽 (4,4) 0.3
我们如何检查这对这个问题是否有意义?
编辑。响应对目标状态的转移概率的请求。下面的符号假设
P( v=(3,3) | u =(2,3), a=E ) = 0.7
P( v=(3,3) | u =(4,3), a=W ) = 0.7
P( v=(3,3) | u =(3,2), a=N ) = 0.7
P( v=(3,3) | u =(3,4), a=S ) = 0.7
P( v=(3,3) | u =(3,3) ) = 0.3
关于artificial-intelligence - 马尔可夫决策过程问题,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/2148345/