基于Q_learning和BP神经元网络的交叉口信号灯控制
第24卷 第7期
2007年7月
公 路 交 通 科 技
JournalofHighwayandTransportationResearchandDevelopment
Vol124 No17
Jul12007
文章编号:1002Ο0268(2007)07Ο0099Ο04
基于QΟlearning和BP神经元
网络的交叉口信号灯控制
赵晓华,石建军,李振龙,赵国勇
1
1
2
2
(11北京市交通工程重点实验室(北京工业大学),北京 100002;21北京工业大学 电子信息与控制工程学院;北京,100022)
摘要:解决单交叉口信号灯最优控制问题。提出了基于强化学习的信号灯控制系统结构,应用强化学习中Q学习,将信号灯最优控制问题转变成是否切换运行相位的决策问题,提出了采用BP神经元网络实现Q学习的信号灯控制系统。应用微观交通仿真软件PARAMICS进行仿真分析,结果表明该系统能够感知交通流变化,并能够自适应地调整信号灯切换策略,以达到最优的控制效果,该方法是可行的,与定时控制相比具有明显的优势。关键词:智能运输系统;Q学习;BP神经元网络;交叉口信号灯优化控制;PARAMICS中图分类号:U491 文献标识码:A
TrafficSignalControlBasedNeuralNetwork
ZHAOXZhenΟlong,ZHAOGuoΟyong
1
1
2
2
(11Keyofin(BeijingUniversityofTechnology),Beijing 100002,China;
21TheSchoolofIn&ControlEngineering,BeijingUniversityofTechnology,Beijing 100022,China)Abstract:Theoptimalsignalcontrolofsingleintersectionisresolved1Thecontrolsystemframeworkbasedonreinforcementlearningissetup1TheQΟlearningofreinforcementlearningisappliedandtheoptimalcontrolofsignalistranslatedtothedecisionΟmakingbetweenthephases1AmethodbasedonBPneuralnetworksisintroducedtorealizeQΟlearningcontrolfortrafficsignalsatanisolatedintersection1TheperformanceofthesystemisevaluatedbyPARAMICStrafficsimulationsoftware1Thesimulationresultsindicatethatthesystemisapperceivetothechangingoftrafficflow1Itscontrolstrategycanbeadjustedwithvaryingtrafficconditioninordertoobtaintheoptimalcontroleffect1ComparedwithconventionalfixedΟtimecontrol,thevalidityandadvantageofthemethodisproved1
Keywords:IntelligentTransportSystems;QΟlearning;BPneuralnetworks;optimalcontrolfortrafficsignal;PARAMICSsimulation
0 引言
随着社会的发展,城市交通的需求量不断增加,城市交通所面临的问题日益严重。对城市交叉口信号
灯进行合理的控制,是解决交通拥堵问题的重要方法之一。
已有的信号灯控制方法包括定时控制、感应控制、最优控制、模糊控制和神经元网络控制等等,这些方法在一定程度上对于缓解交通拥堵,保持交通流畅通起到了一定的作用,但都存在一定的问题。采用
收稿日期:2005Ο12Ο08
最优控制的方法解决交通控制问题,立足于建立精确
的交通流数学模型,但交通流具有时变性、随机性、不确定性和干扰性严重等特点,所以精确建立能够描述交通流的数学模型就成为该方法的瓶颈。当然,模糊控制可以避免这一点,但模糊控制缺乏学习能力,对环境的适应能力不强。对于时变性很强的交通流来讲并不能达到最佳的控制效果;神经元网络控制虽然对非线性系统和难以建模的系统具有很好的映射能力和学习能力,但它对信号控制系统硬件的计算能力和
[1]
速度有很高的要求。
基金项目:北京工业大学校青年基金资助项目(97002011200401、97002011200501);人才强教计划中青年骨干教师资助项目(05002011200606)作者简介:赵晓华(1971-),女,山西太谷人,博士,讲师,从事交通控制理论和智能交通系统研究1(zhaoxiaohua@bjut1edu1cn)
基于Q-learning和BP神经元网络的交叉口信号灯控制_专业资料。解决单交叉口信号灯最优控制问题。提出了基于强化学习的信号灯控制系统结构,应用强化学习中Q学习,将...
基于BP神经网络的燃烧控制系统_信息与通信_工程科技...由于电子 线路交叉极限的困难难以克服,使神经元的...来自于前一层神经元的输出, 即层间的信号流是单向...
神经网络概述与BP神经网络(学生)_其它_高等教育_...用于求神经元输入信号的加权之和。 用于限制神经元...(2)控制和优化。化工过程控制、机器人运动控制、...
神经心 理学和 信息科学等多学科的交叉研究领域,是...信号的正向传播 误差的反向传播 2 BP网络的标准学习...(5)BLF--Backpropagation weight/bias learning ...
本文在介绍了BP神经网络模型的基础 上,使用基于BP算法的PID控制器对热力站的...neuralnetworklearningconvergence.TheresultshowsthatPIDbasedhasaon BP algorith...
这些领域包括:模式识别、鉴定、函数拟合、分类、语音、翻译和控制系统。 股票市场是一个非线性的系统,本文基于BP神经网络,以1998年~2008年的上证股市大盘增幅数据...
《智能控制》课程论文 基于 BP 神经网络 PID 控制系统的设计 成 绩: 任课教师: 班作级: 者: 上交时间: 0 一、神经网络PID控制器人工神经网络是对人脑神经...
基于BP神经网络的蒸汽温度控制_能源/化工_工程科技_专业资料。《自动化仪表》 第 #$ 卷第 $# 期 #%%% 年 $# 月 基于 !" 神经网络的蒸汽温度控制 !"#...
第3章 神经元、感知器和BP网络(1)_物理_自然科学_专业资料。智能控制...训练样本 BP网络属于监督学习网络,BP网络是通过在教师信号(样本) 的监督下对...
ANN)是智能领域的研究热点,目前已经成功地应用到信号处理、模式识别、机器控制、... BP neural network due to having a structure learning algorithm and simple,...
热门文档