强化学习算法研究
在一个迭代过程中,状态s被访问的次数越多,它的e(s)越大,表示它对当前回馈值的贡献就越大,其中式(10)是对式(9)的改进,从计算的角度来说,A越小执行的效率越高:但实际情况是五越大,迭代收敛的越快M。
2.2
Q_learning算法
Q_learning算法是Warms最早于1989提出来的01,它采
用Q(s,a)和状态一动作对的值来作为估计函数,而不是TD(,t)
的状态值函数V(s,a)。
加U)算法的学习过程是减小Agent在不同时间做出估计
间的差异,而Q_iearning算法则是循环地减小对相邻状态的Q值的估计之间的差异”“。它的基本形式如下
式中:Q.(s,a卜在状态s下采用动作a所得到的最优奖赏
Q.(s,a)=R(5,口)_h艺m,ad,)maxQ'(s,,曲
(11)
“
,,EJ
值的和,而在前面我们也定义矿(s)为在状态s下的最优值函数,故
矿O)=max.Q'(s,曲(12)
即我们所采用的最优策略矿是
方0)=argmax.Q'(s,口)
(13)
这就是说只需对当前状态的Q的局部值重复做出反应,就可选择到全局最优化的动作序列,也即当前状态和动作的Q值在单个的数值中概括了所有需要的信息,以确定在状态s下选择动作a时在将来会获得的折算累积奖赏。
Q__leaming的迭代公式如(14)
Qb,4):=Q(s,a卜砥,.+^flllax(如,,的一Q(s,口))(14)
算法在初始过程中初始每个gs,口)值(为了计算简便,大都设为O),然后根据贪心策略选择最大的Q值,得到训练规则勺,矾WJ>,再通过式(14)得到实际迭代值,当到达目标状态时此次迭代过程结束,再继续从初始状态进行迭代,直至学习过程结柬。
如果每个状态一动作对被无限频繁的访问,且口衰减合适,那么Q值就会最终收敛到∥,其收敛性已经得到证明…。
23
Dyna算法
Dyna算法是一种Modelbased的强化学习算法,它利用
经验来建立一个模型(即7’和R),再利用经验来调整策略,同时也利用model来调整策略。它与环境交互的循环迭代过程如下:
(1)更新model,即在状态s下采用动作a到达j’并接收到
(2)根据上述得到的model,利用式(15)来更新策略
∞,回=袅G,口卜h∑缸如s’maxQ(s红’
(15)J。
(3)随机选择k个状态一动作对,并按照式(16)进行值函数迭代
Q‰,m)=盖(蛐)■∑讯。,%s’ m邸∞妇’
(16)
口
It
(4)根据当前Q值在状态J’下选择动作口’。转至(1),继续进Dyna算法每次大约需要k次Qlearning算法的计算量,based算法的计算量要少的多。其中k值是由计算量和选择动作的相对快慢决定的“1。
万方数据
2.4Prioritized
Sweeping算法
尽管Dyna算法已经有了很大的进步,但它依然受困于相对盲目等缺点,特别是当Agent已处于goal或dead状态时。这些问题在PrioritizcdSweeping算法中得到了解决。
PriodtizcdSweeping也是Modelbased算法,除了下述的一点外很相近于Oyna算法,即更新不再是随机的选择,而Value值也通过值迭代与状态相联系。在这一算法中,为了有更合适的选择,必须在模型中增加额外的信息,即每一状态需记住它的前驱和每一状态都有一个优先权值(一般设初始值为O)嘲。
它的思想即不再更新k个随机的状态一动作值,而是更新k个状态中优先权值最高的。对于每个权值最高的状态S来说,按照如F进行运算:
(1)记下当前状态值:V“=V(s);(2)通过(17)来更新状态值
V(s)=max(k(s,口)q∑缸,口芦,阢,))
(17)
口
,
设状态s的优先权值为0。(3)计算Value值的相对差:△=f
VⅢ一m)I;
(4)利用△来修改s前驱的优先权值。
如果我们更新了St的V值,并且有相对差值△,那么s’的作a,并且T(s,a,s’)≠O),都会将它的权值提高到A t(s,lgs’),除非它的优先权值已经超过它的V值。
从全局行为的角度来描述这一算法就是:当在真实的状态转换过程中达到了这一类状态,如已经达到了goal状态,那么这些计算将会传播到相应的前驱状态中;当转换到了另一Sarsa算法
Sarsa算法是Rummery和Niranjan于1994年提出的一种
learning算法,它采用实际的Q值进行迭代,而不是Q_learning所采用的值函数的最烈如的=Q(s一日)+缸n-41Q(s一,胁t)一∞,,曲)
(18)
其中,它的一步Sarsa算法已被s.Singh证明是收敛的。
强化学习能够成为研究热点的重要原因是它可以作为研棋类游戏在人工智能研究领域始终占有重要的位置m。020个状态,把它做成基于表格的强化学-——5807 ——
前驱也将受到这一更新的影响。对于任一状态s(它存在一动类状态,如转换到的真实状态非常类似于我们预期的结果,那么这些计算将会继续在应得的状态空间中啪。
2.5
基于模型的算法,最初被称为改进的Q大值进行迭代。它的迭代公式如式(18)
3强化学习的应用
r,统计这些数据,更新聊R。
究Ag髓t学习原理的理论工具。由于它具有的状态一动作特性和学习控制策略以使累积奖赏最大化等特点,它在生产优
化问题,如选择一系列的动作。使工厂生产出的货物减去成本能得到最大的价值;在序列调度问题中,如在大型的公交车枢纽中心,如何调度公交车运行,以使车辆的整体运行最有效等
方面都取得广泛的应用。其中,强化学习应用最广泛的方面
就是棋类游戏和机器人控制等领域。
许多学者都试图将强化学习应用到这一领域,并取得一定的成就。最著名的是Tesauro把瞬时差分法应用于Backgammon。Backgammon大约有1习方法显然足不行的。Tesauro采用.三层BP神经嘲络把棋盘
行迭代。
但它依然比单纯的Model
2008 强化学习算法研究刘 忠 1, 李海红 2, 刘全 1,3 (1. 苏州大学 计算机科学与技术学院,江苏 苏州 215006;2. 浙江工业大学 信息学院,浙江 杭州 310014; ...
强化学习技术被用来学习最优策略.文中基于性能势理论,证明了平均奖赏强化学习的逼近定理.通过逼近相对参考状态的性能势值函数,研究一个新的平均奖赏强化学习算法——G...
强化学习算法研究 5页 免费 强化学习 80页 免费 强化学习原理_算法及应用 5页 2财富值 高级人工智能 第十章 强化... 79页 5财富值 Q学习 14页 免费...
2007 平均奖赏强化学习算法研究高 2) 阳 1) ( 1) 周如益 1) 王 皓 1) 曹志新 210093) 212300) 2) 南京大学软件新技术国家重点实验室 南京 ( 江苏省...
基于神经网络的强化学习算法研究 BPBP隐藏>> 维普资讯 http://www.cqvip.com 第3 9卷第 8期 200 2年 8月 计算机研究与发展 JURNAIOFCOMPUTER 0 RESEARCH AND...
基于平均报酬模型的强化学习算法研究_专业资料。对于有吸收目标状态的循环任务,比较合理的方法是采用基于平均报酬模型的强化学习.平均报酬模型强化学习具有收敛速度快、...
基于知识的Agent强化学习算法分析与研究_专业资料。强化学习具有与环境交互的优势,笔者提出的基于知识的Q-学习算法(KBQL)就是利用Q-学习算法的这个特点,利用Agent的...
采用结合智能强化学习和遗传算法来求解车间作业调度问题。隐藏>> 21年4月00 电脑学习 第2 期 基 于智能强化 学 的遗传 算法研究 叶婉秋 摘 要: 采用结合智能...
基于标签的强化学习推荐算法研究与应用_专业资料。针对协同过滤推荐算法性能稳定性往往受到数据稀疏性影响的问题,在强化学习的框架下提出一种基于标签的协同过滤推荐...
热门文档