金融投资

12期杨海深,等:基于贝叶斯正则化BP神经网络的股票指数预测33 07
的选择。
1.2.2 神经网络的贝叶斯学习
DavidMackay将贝叶斯方法用于神经网络建
[1]
模过程中,之后又对网络训练过程中后验概率计算问题提出了基于高斯逼近方法来计算Hessian矩阵。在贝叶斯理论的框架下,网络的参数被认为是
图1 一个隐层的BP神经网络
随机变量,给定样本数据下,由贝叶斯规则,参数的分布函数为:
(4)
p(D,β,H)
构和训练样本的特性,因此可以选择合适的训练策略和优化网络结构来提高其泛化能力。选择合适的训练策略包括在训练样本中加入噪声、提前停止法等方法;、化法、进化法等;1.2.1 p(W|α,β,(4)p(|W,β,H,p(D|α,β,H)是
W|,H)是先验密度,表示在没有数W(权向量)的先验知识。由于对参数的分布只有很少的知识,因此先验分布是一个很宽的分布,一旦有了数据,可转化为后验分布,后验分布较为紧凑,即只有在很小范围中的权值才可能与网络的映射一致。
假设训练样本的总体分布是正态分布,权参数的先验分布也是正态的。从而似然函数和先验分布函数分别为
ZD(β)
数来提高其泛化能力。一般情况下,神经网络的性能函数采用均方误差函数。记神经网络模型训练样本
D=(xi,ti),i=1,2,…,n,n为训练样本总数,W为网
络参数向量。给定网络结构H和网络参数W的条件下,网络的误差函数ED取误差的平方和:
ED
=2
nk
∑∑
i=1
j=1
(f(xi,W,H)-ti)
2
(1)p(D|W,β,H)=p(W|α,H)exp(-βED)(5)(6)
(1)式中f( )为网络的实际输出,k为神经网络的
ZW(α)
输出量。
常用的正则化方法是在误差函数后加上权衰减项EW:
EW=
exp(-αEW)
式(5)、式(6)中ZD(β)=π2π),ZW(α)=)2。βα
2
‖W‖=22
m
把式(5)、式(6)代入式(4),得到:
2i
∑w
i=1
(2)
p(W|D,α,β,H)(2)式中m为网络参数总数.于是总误差函数可定
α)ZD(β)Zw(
ZF(α,β)
βαEW))exp(-(ED+
=
(7)
归一化因子exp(-F(W))
义为:
F(W)=βED+αEW
(3)
(3)式中α,β是超参数,控制着其他参数(权及阈
贝叶斯学派认为,最优的权参数应该极大化后验概率p(W|D,α,β,H)。从式(7)可以看出,极大化后验概率等价于极小化总误差函数F=βED+αEW。
下面仍然使用贝叶斯规则来优化超参数α和β,还是需要求后验分布:
p(α,β|D,H)p(D|H)
(8)
值)的分布形式。超参数的大小决定着神经网络的训练目标,若ανβ,则侧重于减小训练误差,但可能过拟合;若αµβ,则侧重于限制网络权值规模,但可能误差较大。在实际应用中,需要折中考虑,极小化目标函数是为了减少网络训练误差的同时,降低网络结构的复杂性。对于正则化方法而言,难点在于超参数的确定,该文采用贝叶斯方法实现超参数
假设先验分布p(α,β|H)是一种很宽的分布函
基于贝叶斯正则化BP神经网络的工程投标报价_专业资料。研究了基于贝叶斯正则化的BP神经网络在市政工程投标报价中的应用,建立了报价预测评估模型,并对该模型的结构体系...
基于改进贝叶斯正则化BP神经网络模型的网络安全态势预测方法研究_数学_自然科学_专业资料 暂无评价
贝叶斯正则化BP神经网络在油气钻井成本预测的应用_专业资料。对反映油田绩效的油气钻井成本进行准确预测,有助于做出科学的决策和评估。为了解决在运用BP神经网络进行...
基于贝叶斯正则化BP神经网络的砂土地震液化研究_专业资料。砂土地震液化的影响因素具有高度的非线性关系,而神经网络在处理非线性问题上具有其独特的优越性。本文在...
为了解决在运用BP神经网 络进行油气钻井成本预测过程中,油气钻井成本影响因子确定难以及标准BP神经网络泛化能力差的问题,建立了 基于主分量分析的贝叶斯正则化的BP神经...
基于贝叶斯正则化BP神经网络的森林资源资产批量评估研究_林学_农林牧渔_专业资料。福建林学院学报 2013,33(2):132—136 第3 3卷第 2期 201 3年 4月 Journal...
金属疲劳裂纹扩展速率的贝叶斯正则化BP神经网络预测_专业资料。人工神经网络是进行预报裂纹扩展率的一个重要方法。文章针对不同金属的疲劳裂纹扩展速率分别建立贝叶斯...
基于贝叶斯正则化BP神经... 10人阅读 5页 2.00 基于L-M贝叶斯正则化... 分别用常规BP神经网络、贝...
基于C-M贝叶斯正则化方法使BP神经网络在推广能力、收敛速度和逼近精度上能够获得很大的提高。文中将BP神经网络和L-M贝叶斯正则化算法相结合用于潜艇声纳部位自噪声...
matlab BP神经网络(贝叶斯正则化算法程序)_数学_自然科学_专业资料。MATLAB BP神经网络(贝叶斯正则化算法程序)close all clear echo on clc % NEWFF——生成一个...
热门文档