文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > 经管营销 > 基于贝叶斯正则化BP神经网络的股票指数预测
侵权投诉

基于贝叶斯正则化BP神经网络的股票指数预测

金融投资

基于贝叶斯正则化BP神经网络的股票指数预测

12期杨海深,等:基于贝叶斯正则化BP神经网络的股票指数预测33 07

的选择。

1.2.2 神经网络的贝叶斯学习

DavidMackay将贝叶斯方法用于神经网络建

[1]

模过程中,之后又对网络训练过程中后验概率计算问题提出了基于高斯逼近方法来计算Hessian矩阵。在贝叶斯理论的框架下,网络的参数被认为是

图1 一个隐层的BP神经网络

随机变量,给定样本数据下,由贝叶斯规则,参数的分布函数为:

(4)

p(D,β,H)

构和训练样本的特性,因此可以选择合适的训练策略和优化网络结构来提高其泛化能力。选择合适的训练策略包括在训练样本中加入噪声、提前停止法等方法;、化法、进化法等;1.2.1 p(W|α,β,(4)p(|W,β,H,p(D|α,β,H)是

W|,H)是先验密度,表示在没有数W(权向量)的先验知识。由于对参数的分布只有很少的知识,因此先验分布是一个很宽的分布,一旦有了数据,可转化为后验分布,后验分布较为紧凑,即只有在很小范围中的权值才可能与网络的映射一致。

假设训练样本的总体分布是正态分布,权参数的先验分布也是正态的。从而似然函数和先验分布函数分别为

ZD(β)

数来提高其泛化能力。一般情况下,神经网络的性能函数采用均方误差函数。记神经网络模型训练样本

D=(xi,ti),i=1,2,…,n,n为训练样本总数,W为网

络参数向量。给定网络结构H和网络参数W的条件下,网络的误差函数ED取误差的平方和:

ED

=2

nk

∑∑

i=1

j=1

(f(xi,W,H)-ti)

2

(1)p(D|W,β,H)=p(W|α,H)exp(-βED)(5)(6)

(1)式中f( )为网络的实际输出,k为神经网络的

ZW(α)

输出量。

常用的正则化方法是在误差函数后加上权衰减项EW:

EW=

exp(-αEW)

式(5)、式(6)中ZD(β)=π2π),ZW(α)=)2。βα

2

‖W‖=22

m

把式(5)、式(6)代入式(4),得到:

2i

∑w

i=1

(2)

p(W|D,α,β,H)(2)式中m为网络参数总数.于是总误差函数可定

α)ZD(β)Zw(

ZF(α,β)

βαEW))exp(-(ED+

=

(7)

归一化因子exp(-F(W))

义为:

F(W)=βED+αEW

(3)

(3)式中α,β是超参数,控制着其他参数(权及阈

  贝叶斯学派认为,最优的权参数应该极大化后验概率p(W|D,α,β,H)。从式(7)可以看出,极大化后验概率等价于极小化总误差函数F=βED+αEW。

下面仍然使用贝叶斯规则来优化超参数α和β,还是需要求后验分布:

p(α,β|D,H)p(D|H)

(8)

值)的分布形式。超参数的大小决定着神经网络的训练目标,若ανβ,则侧重于减小训练误差,但可能过拟合;若αµβ,则侧重于限制网络权值规模,但可能误差较大。在实际应用中,需要折中考虑,极小化目标函数是为了减少网络训练误差的同时,降低网络结构的复杂性。对于正则化方法而言,难点在于超参数的确定,该文采用贝叶斯方法实现超参数

  假设先验分布p(α,β|H)是一种很宽的分布函

上一页第2页

你可能喜欢

  • 数据挖掘试题
  • 数据挖掘预测分析
  • BP神经网络算法
  • MATLAB神经网络

热门文档

相关文档

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email