首页 > 试题广场 >

马尔科夫决策过程(MDP)是指在做序列的决策过程中,t+1时

[问答题]
马尔科夫决策过程(MDP)是指在做序列的决策过程中,t+1时刻的状态只跟t时刻的状态有关,MDP过程中的3元素为(当前状态state,行为action,行为的回报reward)。
MDP的最优决策过程是指,连续执行一系列的action,获得最高的reward和。
1.请描述MDP最优决策过程与动态规划(DP)过程的相似性。
2.10x8的方格中,机器人从左上角走到右下角(仅能在8邻域内移动),机器人移动到4邻域某一格的电池电量消耗为0.1 C,移动到8邻域某一格的电池电量消耗为0.15 C,到达终点可以充电 2 C。请描述这个MDP过程中的state,action,reward分别是什么?
3. 在上面机器人从左上角走到右下角的任务中,如何使用DP得到最优的决策序列?
1.马尔科夫最优决策过程是依据贝尔曼最优方程来进行求解,即若整个过程是最优的则路径上的每个点都是最优的。对于动态规划来说,递归方程是很重要的一部分,也是利用贝尔曼最优方程进行求解。
2.状态为机器人的位置与电量,action为选择移动的方向,奖励是充电或者消耗电量。
3.建立价值函数,利用策略评估来得到每个状态的价值,利用贪心策略进行策略改进,迭代完成最优值寻找。
发表于 2019-03-28 21:15:02 回复(0)
1.马尔科夫决策过程(MDP)是指在做序列的决策过程中忽略掉历史信息,只保留了当前状态的信息来预测下一个状态.
动态规划过程是:每次决策依赖于当前状态,又随即引起状态的转移。一个决策序列就是在变化的状态中产生出来的,所以,这种多阶段最优化决策解决问题的过程就称为动态规划。两者均是在状态转移的基础上求解以后的状态信息。

2.在MDP问题中,提到State是完全可观察的全部环境的State ,并且下一个State却决于当前的State和当前的Action。在此基础上,Policy起着连接State和Action之间关键性作用,对于当前的State,Policy会预测所有Action的潜在价值期望,做出决策,同时对于此次的决策的结果,在一套完善的策略评估系统上会得到一个评估Reward,在此过程中,将会产生三个中间变量:State,Action以及Reward,可以作为一次SAMPLE。重复这一试验过程,将会得到(SAMPLES)样本序列,反过来,我们用SAMPLES去更新和改进Policy,这里引入一个策略价值评估函数Q(s)来衡量目前Policy对于未来做出决策的潜在价值。
3.基本思想与分治法类似,也是将待求解的问题分解为若干个子问题(阶段),按顺序求解子阶段,前一子问题的解,为后一子问题的求解提供了有用的信息。在求解任一子问题时,列出各种可能的局部解,通过决策保留那些有可能达到最优的局部解,丢弃其他局部解。依次解决各子问题,最后一个子问题就是初始问题的解。
发表于 2019-03-08 16:48:14 回复(0)