562007,43(7)ComputerEngineeringandApplications计算机工程与应用
向量z的基础上对原参数向量x的全部知识。
2.2贝叶斯估计器的实现
参数估计,就是通过样本去估计总体的某些数字特征或统
计量。参数估计量的优劣取决于所采用的评价标准(损失函数)
和估计算法[6]。在参数估计中,当使用x!作为参数x的估计量时,估计误差x-x!通常不为0。因此,除了采用无偏、有效和相容估
计作为评价准则外,还可以利用估计误差的变化范围作为参数估计的测度,这种测度叫做损失函数(或代价函数),用符号
C(x
!|x)表示。常用于标量估计的贝叶斯估计器的损失函数有绝对型、二次型和均方型[6]
。
如果选用绝对型损失函数,即C(x!|x)=x!-x,当总体的分
布密度函数p(z|x)已知时,利用随机数据z={z1,z2,…,zN}进行
参数x
!的估计,通常采用条件风险的期望值R=E[R(x!|z)]作为评价参数估计效果的测度,并称之为风险函数,使风险函数最小的参数估计叫做Bayes估计。因此,基于绝对型风险函数最小的估计称为最小绝对值误差(MMAE,MinimumMeanAbsolute
Error)估计。
定理1如果损失函数为绝对型,即C(x!|x)=x!-x,则x
的最小绝对值误差估计器为
!x
x!MMAE(z)=x!且
p(x|z)dx=1
-∞
!
证明:见文献[7]。
综上所述,最小绝对值误差估计器(MMAE)的实现,可由以下步骤来进行:
(1)确定x的先验概率密度p(x)。
(2)由样本集(测量向量)z={z1,z2,…,zN},求出样本联合概率密度分布p(z|x)。
(3)利用贝叶斯公式,求出x的后验概率密度
p(x|z)=
p(z|x)p(x)
x
!p(z|x)p(x)dx
(4)利用定理1,求出最小绝对值误差估计器:
!x
x!MMAE(z)=x!且
!
p(x|z)dx=1-∞
由此可见,贝叶斯估计器的核心问题依然是相关概率密度函数的估计。
3Parzen窗估计法
Parzen窗估计法是一种具有坚实理论基础和优秀性能的
非参数函数估计方法,它能够较好地描述多维数据的分布状态,其基本思想就是利用一定范围内各点密度的平均值对总体密度函数进行估计[8]。一般而言,设x为d维空间中任意一点,
N是所选择的样本总数,为了对x处的分布概率密度p(x)进行
估计,以x为中心作一个边长为h的超立方体V,则其体积为V=hd
,为计算落入V中的样本数NV,构造一个函数使得
!(u)=
#
1ui≤1,i=1,2,…,d
0
其它
并使!(u)满足条件!(u)≥0,且
!!(u)du=1,则落入体积V中
N
的样本数为Ni
V=
%!(x-
x
),则此处概率密度的估计值是:i=1
p
!(x)=1%N
1xi
!(x-)
(2)
i=1
式(2)是Parzen窗估计法的基本公式,!(u)称为窗函数,或核函数、势函数。在Parzen窗估计法的基本公式中,窗宽h是一个非常重要的参数。当样本数N有限时,h对估计的效果有着较大的影响。一般可以选择的窗函数有方窗、正态窗等[8]。基于下列原因,本文选择正态窗作为核函数:
(1)正态函数的平滑性将使得估计函数变化平滑;
(2)如果选择完全对称的正态函数,估计函数中只有一个参量变化。
因此,选择正态核函数的情形下,概率密度的估计式为
P
!N
(x)=1
x2
i‖N(2!-
‖x-)"
%exp
i=1
2"
’
(3)
式中,d是特征空间维数,N是所选择的样本总数,只有窗宽"(文中用“delta”
表示)是唯一需要调节的参数。4交叉验证法
如前所述,Parzen窗估计法中的一个关键问题就是如何选
择窗口大小的问题。窗宽h太大,分辨率低,窗宽h太小,统计变动大。交叉验证法可以动态调节窗宽使性能达到最优。在此算法中,随机将标记号的样本集分成两部分:其一,作为常规的训练集,由此调整估计器的参数;其二,即所谓的验证集,用来评价估计器性能。最终目的是获得使得性能最优的窗口大小。图2给出了交叉验证法的原理图。
实际应用中,一般选择“L重交叉验证”。训练集被随机划分为L个不相交的组,每组中有N/L个样本点,其中N是样本集总数。估计器训练L次,每次都留出L组中的一组作为验证集。估计出的推广误差是L个误差的平均值。具体算法如下:
算法:
1.将样本集N随机分配为L重子集:N1,N2,…,NL;2.从i=1到L
2.1定义评价集为Ni;2.2定义训练集为N-Ni;
2.3根据训练集设计贝叶斯估计器;2.4根据评价集评价贝叶斯估计器;3.多次重复第1、2步。
5算例5.1介绍
贝叶斯估计器可以用于诸如控制系统、通信系统等许多实际系统的参数估计中[5-8]

。在这里对一组电阻器阻值给出了
基于Parzen窗法的贝叶斯参... 4页 1财富值 基于参数模型和独立分量分... 6...基于 参数成孝 刚 , 窗估计 的独立分量分析’ ‘ 姜华 刘 国庆 陈启 美 ...
?非参数估计(nonparametric methods): 不用模型,而只利用训练数据本身对概率密度做 估计。如:Parzen窗方法,kn-近邻估计。 (Bayes,Thomas)(1702—1761) 贝叶斯是...
? 在这些情况下,为了设计贝叶斯分类器, 仍然需要总体分布的知识。 ? ——非...KN-近邻法 非参数估计 非参数估计 非参数估计 Parzen窗法 Parzen窗法 ? ...
似然可以被写做两个 基于非参数估计方法考虑对贝叶斯分类器作另一扩展 : 使 ...由于最佳的窗函数选择总是一个问题 , 而 kn 近邻方法用 起来要比 Parzen窗...
模式作业_Parzen窗估计及m... 12页 1财富值 基于Parzen窗法的贝叶斯参... ...非参数估计法比参 数估计法实用,应用领域也更广泛一些。其方法有许多种,常用的...
?非参数估计(nonparametric methods): 不用模型,而只利用训练数据本身对概率密度做 估计。如:Parzen窗方法,kn-近邻估计。 最大似然估计和贝叶斯参数估计 ? 引言 ?...
改用 Parzen 窗法或者 kn 近邻法估计概率密 度函数,得出贝叶斯分类器,对测试样本进行测试,比较与参数估计(最大似然 法)基础上得到的分类器和分类性能的差别。 (...
Parzen窗法和kn-近邻法 ? 神经网络方法 12 §3-2 参数估计理论 ? 估计量:...贝叶斯参数估计问题: 样本集 X 估计量 θ 真实参数θ 参数空间Θ是连续空间 ...
模式作业_Parzen窗估计及m... 12页 1财富值 第四章_非参数估计part1 34页...1 ) =0.2,p(X ? 2 ) =0.4,试对该细胞利用最小错误率贝叶斯决策规则...
热门文档