朴素贝叶斯分类算法代码实现

关于朴素贝叶斯的代码实现

朴素贝叶斯分类算法

一．贝叶斯分类的原理

贝叶斯分类器的分类原理是通过某对象的先验概率，利用贝叶斯公式计算出其后验概率，即该对象属于某一类的概率，选择具有最大后验概率的类作为该对象所属的类。也就是说，贝叶斯分类器是最小错误率意义上的优化。

贝叶斯分类器是用于分类的贝叶斯网络。该网络中应包含类结点C，其中C 的取值来自于类集合( c1 , c2 , ... , cm)，还包含一组结点X = ( X1 , X2 , ... , Xn)，表示用于分类的特征。对于贝叶斯网络分类器，若某一待分类的样本D，其分类特征值为x = ( x1 , x2 , ... , x n) ，则样本D 属于类别ci 的概率P( C = ci | X1 = x1 , X2 = x 2 , ... , Xn = x n) ，( i = 1 ,2 , ... , m) 应满足下式：

P( C = ci | X = x) = Max{ P( C = c1 | X = x) , P( C = c2 | X = x ) , ... , P( C = cm | X = x ) }

贝叶斯公式：

P( C = ci | X = x) = P( X = x | C = ci) * P( C = ci) / P( X = x) 其中，P( C = ci) 可由领域专家的经验得到,而P( X = x | C = ci) 和P( X = x) 的计算则较困难。

二．贝叶斯伪代码

整个算法可以分为两个部分，“建立模型”与“进行预测”，其建立模型的伪代码如下：

numAttrValues 等简单的数据从本地数据结构中直接读取 构建几个关键的计数表

for(为每一个实例) {

for( 每个属性 ){

为 numClassAndAttr 中当前类，当前属性，当前取值的单元加 1 为 attFrequencies 中当前取值单元加 1

}

}

预测的伪代码如下：

for(每一个类别){

for(对每个属性 xj){

for(对每个属性 xi){