通过对多层前馈网络的运行机制的系统分析 ,指出影响前馈网络泛化能力的根本原因是训练网络用的样本 ,包括样本质量、样本数量和样本代表性三个方面 .针对复杂系统给出了一种提高前馈网络泛化能力的途径 ,并通过对仿真算例的计算验证了得出的结论 .
2000年8月
文章编号:100026788(2000)0820036205系统工程理论与实践第8期
前馈神经网络泛化性能力的系统分析
江学军1,唐焕文2
(1.山东经济学院计划统计系,山东济南250014;21大连理工大学管理科学与工程研究所,辽宁大连116024)
摘要: 通过对多层前馈网络的运行机制的系统分析,指出影响前馈网络泛化能力的根本原因是训
练网络用的样本,包括样本质量、样本数量和样本代表性三个方面Λ针对复杂系统给出了一种提高前
馈网络泛化能力的途径,并通过对仿真算例的计算验证了得出的结论Λ
关键词: 多层前馈神经网络;泛化能力;系统分析
中图分类号: TP18 α
SystemAnalysisforGeneralizationofMFNN
12JIANGXue2jun,TANGHuan2wen
(1.ShandongInstituteofEconomic,Ji’nan250014;2.DalianUniversityofTechnology,Dalian116024)
Abstract: Bythesystemanalysisfortheoperationmechanismofmultilayerfeedfor2
wardneuralnetworks(MFNN),thispaperpointsoutthatthebasicreasonsaffectingthe
generalizationcapabilityofMFNNarequality,quantityandrepresentationabilityofthe
.Andwegiveamethodtoraisethegeneralizationcapabilityofthetrainingsamples
.complexsystem.Theconclusionhasbeenprovedbyexperimentalresults
Keywords: MFNN;generalizationcapability;systemanalysis
1 引言
多层前馈神经网络(MultilayerFeedforwardNeuralNetworks,MFNN)是目前神经网络研究与应用中最基本的网络模型之一Λ多层前馈网络由一个输入层、一个输出层和若干个隐含层组成Λ同层之间的节点没有联接,相邻两层之间的节点两两相连,前一层节点的输出即为后一层节点的输入Λ它的基本运行机制是:给网络赋给初始权值和阀值,按照给定的样本前向计算网络输出,根据实际输出与期望输出之间的误差,反向修改网络权值和阀值,如此反复训练使误差达到最小,用得到的网络模拟样本的输入输出关系(图1)Λ
多层前馈神经网络的研究已有很长的历史Λ1958年,心理学家Rosenblatt提出了最早的感知器(Per2ceptron)模型,在此基础上,1965年,Nilsson提出了含有隐节点的多层网络构想Λ由于当时多层网络没有十分有效的学习算法,在处理非线性问题方面具有很大的局限性Λ1969年,Minsky和Papert在
[1]《Perceptron》一书中指出没有隐含层的感知器模型连简单的异或问题都无法解决,故对多层网络模型的
实用性持怀疑态度Λ1974年,Werbos提出了含有隐含层的多层网络的误差反向传播(BackPropagationEr2ror,BP)算法,有效地克服了多层网络无法解决非线性分类问题的缺陷,但在当时并没有引起重视Λ直到1986年,Rumelhart和Mc2Clelland[2]等人对Werbos的算法进行了总结和分析提出了PDP(并行分布处理)理论,并进一步发展和完善了多层网络的BP算法,由此对多层网络的研究和应用又掀起了新的高潮,并将这类网络统称为多层前馈神经网络,多层前馈神经网络也成为神经网络中一个重要研究和应用领域Λ
多层前馈神经网络是由简单神经单元构成的具有明显层次结构的网络模型Λ它具有良好的非线性品质,灵活而有效的学习方式,完全分布式的存储结构,能进行大规模并行信息处理,对非线性系统具有较强α收稿日期:1998212230
给出了一个基于提高泛化能力的前馈过程神经网络网络结构构造算法,并应用一个实例验证了其有效性。计算机科 学20V13N.108o.5Q1 前馈过程神经 网络 的 网络 结构与...
前馈神经网络泛化性能力的... 5页 免费 第三章 前馈神经网络模型... 91页... 2004 年 11 月 系统工程理论与实践 第 11 期 文章编号: 100026788 ( 2004...
本章介 绍了近十几年来前馈神经网络泛化理论研究的主要成果,其中 7.1 节简要...网的泛化能力所需的样本数问题;阎平 凡等人[张-阎 1998,阎 1995]在分析了...
的神经网络, 多层前馈网络是目前应用最多的神经网络...良好的 由输入向输出的正确映射,这称网络泛化能力。...3.4.5 误差曲面与 算法的局限性 误差曲面与BP...
关键词:BP神经网络;泛化能力;主成分分析;遗传算法;...耗 散性和吸引性等非线性动力系统的所共有的特性...BP(back propagation)神经网络也称作多层前馈网络,它...
3前馈神经网络-续1_计算机软件及应用_IT/计算机_...分析:这是 X到Y的映射问题,网络采用单输入输出节点...此外, 神经网络训练完毕后,要考察其泛化能力,即对...
第3章 前馈神经网络 (3.3 Matlab 实现)_计算机...这种能力称为泛化能力。 ? ? 泛化能力 ? 容错能力... 2014教师资格材料分析辅... 2014小学教师资格考试...
以维护群体的多样性,得到多 样性的个体网络,提高神经网络集成系统的泛化能力。 ...神 经网络设置如下,个体网络是前馈神经网络,使用BP算法进行训练,输入节点 数即...
种性能优良的前馈型神经网络,RBF 网络可以任意精度...线性映射能力,泛化能力,并行信 息处理能力等,还具有... 系统的信息往往只能从系统运行的操作数据中分析得 ...
2神经网络 前馈神经网络具有良好的函数逼近能力.已经...但 它们各自所对应神经网络的泛化性能却不尽相同, ...(LHS),它在优化设计以及 可靠性分析等领域得到了...
热门文档