继续浏览精彩内容
慕课网APP
程序员的梦工厂
打开
继续
感谢您的支持,我会继续努力的
赞赏金额会直接到老师账户
将二维码发送给自己后长按识别
微信支付
支付宝支付

什么是 Q-learning

Alice嘟嘟
关注TA
已关注
手记 209
粉丝 75
获赞 279

我们以一个迷宫寻宝的游戏为例来看什么是 Q-learning。

在这个游戏中,agent 从一个给定的位置开始,即起始状态
在不穿越迷宫墙壁的前提下,在每个状态时,都可以选择上下左右四个方向走一步,或者原地不动
上下左右这四个动作的每一个都会将 agent 带到网格的一个新的单元格,即新的状态
在迷宫中有一个网格处有宝箱,这个网格就是目标状态
此外,在某些网格处还有一些炸弹,
我们的目标是找到一条没有炸弹的路径,以最快的速度从起始状态到达目标状态。

这个迷宫就是 environment,
将 agent 放在里面时,它首先需要探索,因为它不知道炸弹是什么在哪里,也不知道宝藏是什么在哪里,
我们通过给它 rewards 来告诉它炸弹和宝藏的概念,
遇到炸弹就 -10,
遇到宝藏就 +10,
为了让 agent 找到最短路径,我们可以给其他状态的奖励为 -1,
告诉 agent 它的目标是使奖励最大化,
然后 agent 就可以开始探索了,过程中它会学习到炸弹是有害的,宝藏是好的,还能找到最短路径。


Q-Learning 就是要学习在一个给定的 state 时,采取了一个特定的行动后,能得到的奖励是什么。

这时可以用一个表格来记录每组 state 和 action 时的值,

这个表,首先被初始化为 0,
然后每走一步,都相应地更新表格,

其中更新的方法是用 Bellman Equation:

其中,
S 代表当前的状态,a 代表当前状态所采取的行动,
S’ 代表这个行动所引起的下一个状态,a’ 是这个新状态时采取的行动,
r 代表采取这个行动所得到的奖励 reward,γ 是 discount 因子,

由公式可以看出 s,a 对的 Q 值等于 即时奖励 + 未来奖励的 discount。
γ 决定了未来奖励的重要性有多大,
比如说,我们到了一个状态,它虽然离目标状态远了一些,但是却离炸弹远了一些,那这个状态的即时奖励就很小,但是未来奖励就很多。

算法是:

  1. 初始化 Q table 为 0
  2. 每一次遍历,随机选择一个状态作为起点
  3. 在当前状态 (S) 的所有可选的行动中选择一个 (a)
  4. 移动到下一个状态 (S’)
  5. 在新状态上选择 Q 值最大的那个行动 (a’)
  6. 用 Bellman Equation 更新 Q-table
  7. 将新状态设置为当前状态重复第 2~6 步
  8. 如果已经到了目标状态就结束


下面来将上面的算法实际计算一下:

用一个最简单的例子,两行两列,每个格子代表一个状态,有一个炸弹和宝藏,并设置 alpha = 1:

reward 表如下:

1. 初始的 Q-table 的值全是 0
每一行代表一个状态,每一列代表每个状态时可以有 5 种行动,上下左右和原地不动:

首先将 γ 设置为 0.8,
2. 例如我们从状态 1 开始走,可以向下或者向右
3. 我们先选择向下
4. 这时到达了状态 3
5. 在状态 3 可以向上, 或者向右
6. 用 Bellman Equation 更新 Q-table:

Q(1,D) = R(1,D) + γ * [ max( Q(3,U) & Q(3,R) ) ] = -10 + 0.8 * 0 = -10

R(1,D) = -10 是从状态 1 向下走到了炸弹处,
Q(3,U) 和 Q(3,R) 都是 0,因为初始表格都还是 0,

于是更新后的表格变成了这样:

7. 然后将状态 3 变成当前状态,
这时假设我们选择向右,就走到了 4,
在 4 处可以选择向上或者向左,
于是再根据公式计算 Q 值:

Q(3,R) = R(3,R) + 0.8 * [ max( Q(4,U) & Q(4,L) ) ] = 10 + 0.8 * 0 = 10

更新后的表格为:

这时我们走到了 4 也就是目标状态了,就可以结束这条路径了。

接下来可以重复上面的过程,走更多次,让 agent 尝试完所有可能的 state-action 组合,直到表格的值保持不变了,它也就学会了所有状态和行为的 Q 值:


打开App,阅读手记
0人推荐
发表评论
随时随地看视频慕课网APP

热门评论

图全部都看不见?

查看全部评论