强化学习算法研究
第29卷第22期
V01.29
No.22
计算机工程与设计
ComputerEngineeringandDesign
2008年11月
Nov.2008
强化学习算法研究
刘
忠1,李海红2,刘
全”
(1.苏州大学计算机科学与技术学院,江苏苏州215006;2.浙江工业大学信息学院,浙江杭州310014;
3.南京大学软件新技术国家重点实验室,江苏南京210093)
摘要:针对智能Agent运动中普遍存在的避障问题,结合强化学习具有的试错和环境交互获得在莱状态下选择动作的策略
以及无导师在线学习等特性。在介绍强化学习的原理、分类以及主要算法(仞U)、Q_learning、Dy珊,PrioritizedSweeping、Sarsa)
的基础上,对∞U)、Q_learning的算法进行分析,并将其应用到实验中。实验结果表明,强化学习中的巾Q)、cLJearning等算法
在不同情况下都能高效地解决避障等问题.
关键词:强化学习;Q学习:Agent智能体;机器人控制;避障;搜索引擎中图法分类号:TPl8
文献标识码:A
文章编号:1000-7024(2008)22.5805-05
Research
on
algorithmofreinforcementlearning
LIUZhon91,LIHai.hon乎,LIUQuanl’3
KeyLaboratoryforNovelSoftware
(1.CollegeofComputerScienceandTechnology,SoochowUniversity,Suzhou215006,China;2.CollegeofInformation
University
Engineering,ZhejiangofTechnology,Hangzhou310014,China;3.State
Technology,NanjingUniversity,Nanjing210093,China)
Abstract:Aiming
to
solveis
theproblemofpassingtheblockfortheintelligentagents.thetrial-and-error,thepolicythatobtainedafter
one
agentscommunicate
learningfeature.TheRL
combinedwiththeenvironinemin
stateforchoosingactionsinRLlearningandtheunsupervisedon_line
principittm,partitionandthemain
algorithms(∞m),Q_leaming,Dyna,Prioritized
Sweeping,Sarsa)ofthe
isintroducedwiththeanalysisofrD(,1)andQ_learningalgorithm,whichhasbeenappliedintotheexperiment.Theexperimental
problemefficientlyunderdifferentenvironments.
resultprovesthatthealgorithmssolvethis
Key
words:reinforcementlearning;Q据aming;agent;robotcontrol;obstacleavoidance;searchengine
O引
言
强化学习作为一种在线的、无导师机器学习方法,把环境的反馈作为输入、通过学习选择能达到其目标的最优动作。自20世纪80年代末以来,由于数学理论上的突破而取得了长足的发展,现在已经是机器学习领域的热点方向。强化学习可被应用于任何涉及采取序列行为的任务,主要集中在有限资源调度、机器人控制、棋类游戏等应用领域。
智能Agent的主要特征之一就是能够适应未知环境,而在这一过程中,主动学习是至关重要的。在机器学习领域,大致可以将学习分为监督学习、非监督学习和强化学习3大类。
监督学习,就是对于每一个输入,学习者都被提供一个目标,即环境或者“老师”来告诉学习者,对于每次的输入应该做出如何回应。辨别是何种乐器所发出的声音就是这一学习类型。
非监督学习,主要是建立一个模型,用其试着对输入的数据进行解释,并用于下次输入。采用隐马尔科夫模型(HMM)的语音识别系统,就是采用的这一学习类型,HMM通过在训练中记录下每一个语音之后,我们就可以用这些来识别输入的语音了。
1强化学习
1.1基本原理
强化学习就是能够感知环境的自治Agent,怎样通过学习来选择能达到其目标的最优动作“’。当Agent在其环境中做每个动作时,环境都会提供一个反馈信号,即奖赏值。强化学习也可看成是从环境到动作的映射学习过程,其目的就是采用的某动作能够从环境中得到最大的累积奖赏值。
收稿日期:2007-11—17
E-mall:210513050@such.edu.如
基金项目:国家自然科学基金项目(60473003、60673092);中国博士后科研基金项目(20060390919).江苏省高校自然科学基金项目(06KJB520104);江苏省博士后科研基金项目(06021Ic)。
作者简介:刘忠(1981一),男,山东临沂人,硕士研究生,研究方向为强化学习、个性化搜索;
生,研究方向为CIMS、智能算法;
李海红(1981--),女,山东潍坊人,硕士研究
刘全(1970--),博士,副教授,硕士生导师,研究方向为自动推理、机器学习等。
—-5805 ——
万方数据
2008 强化学习算法研究刘 忠 1, 李海红 2, 刘全 1,3 (1. 苏州大学 计算机科学与技术学院,江苏 苏州 215006;2. 浙江工业大学 信息学院,浙江 杭州 310014; ...
强化学习技术被用来学习最优策略.文中基于性能势理论,证明了平均奖赏强化学习的逼近定理.通过逼近相对参考状态的性能势值函数,研究一个新的平均奖赏强化学习算法——G...
强化学习算法研究 5页 免费 强化学习 80页 免费 强化学习原理_算法及应用 5页 2财富值 高级人工智能 第十章 强化... 79页 5财富值 Q学习 14页 免费...
2007 平均奖赏强化学习算法研究高 2) 阳 1) ( 1) 周如益 1) 王 皓 1) 曹志新 210093) 212300) 2) 南京大学软件新技术国家重点实验室 南京 ( 江苏省...
基于神经网络的强化学习算法研究 BPBP隐藏>> 维普资讯 http://www.cqvip.com 第3 9卷第 8期 200 2年 8月 计算机研究与发展 JURNAIOFCOMPUTER 0 RESEARCH AND...
基于平均报酬模型的强化学习算法研究_专业资料。对于有吸收目标状态的循环任务,比较合理的方法是采用基于平均报酬模型的强化学习.平均报酬模型强化学习具有收敛速度快、...
基于知识的Agent强化学习算法分析与研究_专业资料。强化学习具有与环境交互的优势,笔者提出的基于知识的Q-学习算法(KBQL)就是利用Q-学习算法的这个特点,利用Agent的...
采用结合智能强化学习和遗传算法来求解车间作业调度问题。隐藏>> 21年4月00 电脑学习 第2 期 基 于智能强化 学 的遗传 算法研究 叶婉秋 摘 要: 采用结合智能...
基于标签的强化学习推荐算法研究与应用_专业资料。针对协同过滤推荐算法性能稳定性往往受到数据稀疏性影响的问题,在强化学习的框架下提出一种基于标签的协同过滤推荐...
热门文档