强化学习算法研究
观察生物(特别是人)适应环境的学习过程可以发现,他们从来都不是静止的被动等待而是动态地主动对环境进行试探。从环境对试探动作提供的反馈信号来看,多数情况下的
试探是评价性的(奖励或者惩罚)。生物在动作——评价的过
程中不断地获得知识、改进行动方案,以达到预期的目的,这也是符合强化学习的特征旺l。
强化学习系统的结构如图1所示,它由Environment和Agent两部分组成。Agent与Environment不断的进行试探交互,得到sensordata,agent在策略a'*:S--A指导下,得到最大的累积奖赏值。而Agent的任务就是获得一个最优控制策略,r.:S一4,其中S为状态集,A为动作集。
environment
图1强化学习系统的结构
在这里,需要考虑的是长期的累积奖赏,故就要考虑采用动作以后长期奖赏对现在的影响。所以,我们就需要定义一个目标函数来从长期的观点确定什么是最优的动作。通常有状态的值函数或动作函数对的值函数表达此目标函数,状态值函数町以有如下3种形式
^
哺J=以∑D
(1)t’0
,
^
%J=lin顾÷∑力㈣’‘,,0(2)怖f)=联∑m
(3)
tt。0
式(1)为有限水平模型,Agent只考虑未来h步内的奖赏值;式(2)为平均奖赏模型,Agent只考虑平均的奖赏值;式(3)为无限水平折扣模型,Agent考虑未来h步内的奖赏,并以某种形式折扣在值函数中,由于它富有数学技巧,所以也是应用最广泛的一种模型,其中,,是Agent从s,至Us,-所得到的奖赏值,y(O≤y<1)是折扣因子,确定了延迟奖赏与立即奖赏的相对比例。故最优策略就可以根据式(4)确定
矿=argmaxl/'(s),VsES
“)
由于环境具有不确定性,因此在策略,r的作用下,状态St的值也可写为
硝曲=卿∑P(s,。1%口,)矿0,。)
(5)
式中:户仅,k口,卜在状态枷寸采用a,至lJ达跏的概率。
丘,ES
动态规划理论保证至少有一个一,满足Bellman最优方程
旷㈨=max(呐,∑施,.1岛口J)旷仅,))
(6)
-——5806-——
万方数据
所以,学习的任务就是求解一。
通常假定环境是马尔可夫型的。强化学习过程可以使用一个马氏决策过程(Markov
decision
process,MDP)表示,MDP
由四元组<S,A,心1>定义,其中S为状态集,A为动作集,R:SxA=尺为奖赏函数,记R(s,a,s.)为在状态s下采用动作a到达s‘后所得到的瞬间奖赏值;T:SxA=PD(回为状态转移函数,其
中m,筇J为Agent在状态s下采用动作a到达sI的概率“1。
马氏决策过程的本质是:当前状态向下一状态转移的概率和奖赏值只取决于当前状态和选择的动作,而与历史状态和历史动作无关。因此在已知状态转移概率函数T和奖赏函数R的环境模型知识下,可以采用动态规划技术求解最优策略,而强化学习着重研究在T函数和R函数未知的情况下,系统如何学习到最优行为策略。1.2强化学习的分类
如果Agent在学习过程中,无需学习MDP的模型知识,直接学习最优策略,我们称这类方法为模型无关(Model_free);如果在学习过程中,先学习MDP的模型知识,然后再根据这些推导、学习出最优策略,我们称之为模型有关(Modelbased)。其中前者是我们研究的重点,因为在实际中主要遇到的问题是如何在模型不知的情况下学习到最优策略。前者的算法主
要有加U)和Q_leaming算法,后者主要有Dyna、Prioritized
Sweeping、Sarsa算法等。
当然,现在由于强化学习的广泛应用以及研究的深入和
细化,也可分为如下几种类型:逻辑强化学习、分层强化学习、多Agent强化学习、POMDP强化学习等。
2主要算法
2.1
TD(2)算法
TD(2)结合了蒙特卡罗和动态规划算法,是强化学习技
术中最主要的算法之一。其中最简单的TD算法是TD(0)算
法,即它获得的奖赏值仅向前回馈一步,它的迭代公式如式(7)所示
式中:护学习率,琊卜Agent在t时刻得到的估计状态值
m):=V(s卜缸m阢)一阢))
(7)
函数,巩妒一Agent在t+l时刻得到的估计值,r为瞬间奖赏值,r折扣因子,式(7)的关键是mr4s,,)是瞰)的参照值,
并且它随着真实值r的迭代和更新,也会变成真实值。如果学习率d合适(即随着迭代的进行,逐渐变小)且策略固定,TD(O)
算法就可以收敛到最优值函数Ⅲ。
前面所讨论的TD(O)算法,由于仅向前回馈一步,故具有
收敛慢等不足,其实它只是似^)的最初形式,即A=0的情况。
当Agent获得瞬时奖赏值可以向前回馈任意步时,我们称之为
似A)算法。它的迭代公式用式(8)表示
式中:如卜状态s的选举度“”,它是状态s已经被访问的度
阢)._瞰卜n(m阢。-)一婚)kb)
(8)
量,在实际应用中可以通过下式得到
㈣=苫t
(9)k-l
my-*,where孤s。=£黧:;∞
~v
u¨101w■●‘
如产(搿1譬=~
c一∞
2008 强化学习算法研究刘 忠 1, 李海红 2, 刘全 1,3 (1. 苏州大学 计算机科学与技术学院,江苏 苏州 215006;2. 浙江工业大学 信息学院,浙江 杭州 310014; ...
强化学习技术被用来学习最优策略.文中基于性能势理论,证明了平均奖赏强化学习的逼近定理.通过逼近相对参考状态的性能势值函数,研究一个新的平均奖赏强化学习算法——G...
强化学习算法研究 5页 免费 强化学习 80页 免费 强化学习原理_算法及应用 5页 2财富值 高级人工智能 第十章 强化... 79页 5财富值 Q学习 14页 免费...
2007 平均奖赏强化学习算法研究高 2) 阳 1) ( 1) 周如益 1) 王 皓 1) 曹志新 210093) 212300) 2) 南京大学软件新技术国家重点实验室 南京 ( 江苏省...
基于神经网络的强化学习算法研究 BPBP隐藏>> 维普资讯 http://www.cqvip.com 第3 9卷第 8期 200 2年 8月 计算机研究与发展 JURNAIOFCOMPUTER 0 RESEARCH AND...
基于平均报酬模型的强化学习算法研究_专业资料。对于有吸收目标状态的循环任务,比较合理的方法是采用基于平均报酬模型的强化学习.平均报酬模型强化学习具有收敛速度快、...
基于知识的Agent强化学习算法分析与研究_专业资料。强化学习具有与环境交互的优势,笔者提出的基于知识的Q-学习算法(KBQL)就是利用Q-学习算法的这个特点,利用Agent的...
采用结合智能强化学习和遗传算法来求解车间作业调度问题。隐藏>> 21年4月00 电脑学习 第2 期 基 于智能强化 学 的遗传 算法研究 叶婉秋 摘 要: 采用结合智能...
基于标签的强化学习推荐算法研究与应用_专业资料。针对协同过滤推荐算法性能稳定性往往受到数据稀疏性影响的问题,在强化学习的框架下提出一种基于标签的协同过滤推荐...
热门文档