ComputerEngineeringandApplications计算机工程与应用2007,43(7)55
基于Parzen窗法的贝叶斯参数估计
摆玉龙,杨志民
BAIYu-long,YANGZhi-min
西北师范大学物理与电子工程学院,兰州730070
CollegeofPhysicsandElectricalEngineering,NorthwestNormalUniversity,Lanzhou730070,ChinaE-mail:yulongbai@gmail.com
BAIYu-long,YANGZhi-min.BayesparameterestimationusingParzenwindowsmethods.ComputerEngineeringandApplications,2007,43(7):55-58.
Abstract:InthelightoftheirregularprobabilitydensityfunctionsneededforBayesparameterestimation,anewmethodispro-videdforestimatingtherelatedprobabilitydensityfunctionsbyusingParzenwindowsestimation.So,Bayesparameterestimatorcanbeobtainedbychoosingdifferenterrorfunctionasthecostfunction.Bychoosingagroupofresistancemeasurementsasthedatasets,theprobabilitydensityfunctionsarederivedbyusingParzenwindowsestimationmethodsandMinimumMeanAbsoluteError(MMAE)estimatorofaresistancedatasetisobtaineddirectlywithcross-validations.Keywords:Parzenwindowsestimation;Bayesestimation;cross-validations
摘
要:针对贝叶斯估计中所需的非规则概率密度函数,提出用Parzen窗算法估计相关概率密度,从而求解不同损失函数下的贝
叶斯参数估计器。实例分析中,选择一组电阻测量值作为样本,利用Parzen窗法计算出相应的概率密度函数,最后用交叉验证法得出了该样本的最小绝对值误差参数估计器。关键词:Parzen窗法;贝叶斯估计;交叉验证法文章编号:1002-8331(2007)07-0055-04
文献标识码:A
中图分类号:O212.8
1引言
贝叶斯(Bayes)参数估计是一种有效的利用样本数据,在
正确估计出相关参数的基础上,建立相应数学模型的方法。它是一门贯穿统计学、工程学、系统辨识和计算机科学间的交叉贝叶斯参数估计器的建立往往取决于相关概率密度函学科[1,2]。
数的估计[3,4],由于概率密度函数包含了随机变量的全部信息,高维概率分布的估计无论在理论上还是实际操作中都是一个十分困难的问题[4]。Parzen窗估计法是一种能够利用已知样本对总体概率密度函数进行估计的有效的非参数估计方法。针对在很多实际应用中的概率密度分布是非规则的分布函数,提出利用Parzen窗估计法估计概率密度函数,结合交叉验证法确定贝叶斯参数估计器中所需的最优参数,从而求解绝对值损失函数下的贝叶斯参数估计器,实例分析显示这是一种行之有效的方法。
如前所述,x可以是物理过程或事件。x也可称为参数向量,它的概率密度称为先验概率密度p(x)。物理对象一般可由参数估计器的任务输出为N维测量向量z的传感系统来测量。
就是在给定测量向量z的基础上,重构原参数x,由估计函数
!(z):RN→RM描述。条件概率密度p(z|x)给出了测量向量和参x
数向量之间的关系。对于确定的x,测量向量z的随机性体现在测量系统的噪声干扰和其它不确定因素。因此,随机性由p(z|
2贝叶斯估计原理2.1基本原理
一般而言,参数估计器可以由贝叶斯估计或数据拟合的方法来实现。本文侧重于更具有统计意义的贝叶斯方法。图1给出了贝叶斯估计的结构图。出发点是输入为随机向量x(x∈R)的概率实验。
M
x)来描述[5]。
最后,由贝叶斯定理[6]可以得出后验概率密度p(x|z)为
p(x|z)=
x
p(z|x)p(x)
(1)
#p(z|x)p(x)dx
M
式中积分扩展到整个M维向量空间R。p(x|z)代表了在测量
基金项目:甘肃省科技公关计划(theKeyTechnologiesR&DProgramofGansuProvince,ChinaunderGrantNo.2GS047-A52-002-07)。作者简介:摆玉龙(1973-),男,讲师,研究方向为参数估计,机电系统的设计;杨志民(1949-),男,教授,研究方向为模式识别,

电路系统理论。
基于Parzen窗法的贝叶斯参... 4页 1财富值 基于参数模型和独立分量分... 6...基于 参数成孝 刚 , 窗估计 的独立分量分析’ ‘ 姜华 刘 国庆 陈启 美 ...
?非参数估计(nonparametric methods): 不用模型,而只利用训练数据本身对概率密度做 估计。如:Parzen窗方法,kn-近邻估计。 (Bayes,Thomas)(1702—1761) 贝叶斯是...
? 在这些情况下,为了设计贝叶斯分类器, 仍然需要总体分布的知识。 ? ——非...KN-近邻法 非参数估计 非参数估计 非参数估计 Parzen窗法 Parzen窗法 ? ...
似然可以被写做两个 基于非参数估计方法考虑对贝叶斯分类器作另一扩展 : 使 ...由于最佳的窗函数选择总是一个问题 , 而 kn 近邻方法用 起来要比 Parzen窗...
模式作业_Parzen窗估计及m... 12页 1财富值 基于Parzen窗法的贝叶斯参... ...非参数估计法比参 数估计法实用,应用领域也更广泛一些。其方法有许多种,常用的...
?非参数估计(nonparametric methods): 不用模型,而只利用训练数据本身对概率密度做 估计。如:Parzen窗方法,kn-近邻估计。 最大似然估计和贝叶斯参数估计 ? 引言 ?...
改用 Parzen 窗法或者 kn 近邻法估计概率密 度函数,得出贝叶斯分类器,对测试样本进行测试,比较与参数估计(最大似然 法)基础上得到的分类器和分类性能的差别。 (...
Parzen窗法和kn-近邻法 ? 神经网络方法 12 §3-2 参数估计理论 ? 估计量:...贝叶斯参数估计问题: 样本集 X 估计量 θ 真实参数θ 参数空间Θ是连续空间 ...
模式作业_Parzen窗估计及m... 12页 1财富值 第四章_非参数估计part1 34页...1 ) =0.2,p(X ? 2 ) =0.4,试对该细胞利用最小错误率贝叶斯决策规则...
热门文档