特征选择和提取
K
12(j)(i) D({a},{a}) Kj 1 K 1i 1 i j
1
K
2
k
(i)
n
k 1
(ak
(j)
n
(i)2 2
ak)。可证明:D 2 k2。
k 1
(a K 1
i 1
其中 为{a}在第k个分量上的无偏方差,即
2
k
1
K
(i)k
2
ak)。其中
ak
a K
i 1
1
K
(i)k
为{a(i)}在第k个分量方向上的均值。[证明作为练习]
(i)
类内散布矩阵考虑一类内模式点集{a
K
}i 1,2, ,K,其类内散布矩阵为:
a K
i 1
S
{(a
i 1
(i)
m)(a
(i)
m)}其中m
T
1
K
(i)
。对属于同一类的模式样本,类内散布矩
阵表示各样本点围绕其均值周围的散布情况。
类间距离和类间散布矩阵在考虑有两个以上的类别,如集合{a(i)}和{b(j)}时,类间距离对类别的可分性起着重要作用,此时应计算:D({a
n
2(i)
},{b})i 1,2, ,Ka;j 1,2, ,Kb。为简化起见,
(j)
常用两类样本各自质心间的距离作为类间距离,并假设两类样本出现的概率相等,则:
D
2
(m
k 1
1k
m2k)
k
k
2
其中m1和m2为两类模式样本集各自的均值向量, m1和m2为m1和m2的第k个分量,n为维数。写成矩阵形式:Sb2 (m1 m2)(m1 m2)为两类模式的类间散布矩阵。对三
c
T
个以上的类别,类间散布矩阵常写成:Sb
P(
i 1
i
)(mi m0)(mi m0)其中,m0为
c
T
m0 E{x} 多类模式(如共有c类)分布的总体均值向量,即:
P( )m,
i
i
i 1
i,i 1,2, ,c
多类模式集散布矩阵多类情况的类内散布矩阵,可写成各类的类内散布矩阵的先验概率的加权和,即:
c
c
i
Sw
P(
i 1
)E{(x mi)(x mi)| i}
T
T
P(
i 1
i
)Ci。其中Ci是第i类
的协方差矩阵。有时,用多类模式总体分布的散布矩阵来反映其可分性,即:
St E{(x m0)(x m0)},x i,i 1,2, ,c。其中,m0为多类模式分布的总
体均值向量。可以证明:St = Sw + Sb,即总体散布矩阵是各类类内散布矩阵与类间散布矩阵之和。
5.2 特征选择
设有n个可用作分类的测量值,为了在不降低(或尽量不降低)分类精度的前提下,减小特征空间的维数以减少计算量,需从中直接选出m个作为分类的特征。问题:在n个测量值中选出哪一些作为分类特征,使其具有最小的分类错误?
从n个测量值中选出m个特征,一共有 中可能的选法。一种“穷举”办法:对每种选法都用训练样本试分类一下,测出其正确分类率,然后做出性能最好的选择,此时需要试探的特征子集的种类达到 种,非常耗时。需寻找一种简便的可分性准则,间接判断每一种子集的优劣。
对于独立特征的选择准则
第5章 特征选择与特征提取 5.1 基本概念 5.2 类别可分性测度 5.3 基于类内散布矩阵的单类模式特征提取 5.4 基于K-L变换的多类模式特征提取 5.1 基本概念...
5 模式识别原理课件-第5章 特征选择与提取_工学_高等教育_教育专区。特征选择与提取第5章 特征选择与特征提取 章 5.1 基本概念 5.2 类别可分性测度 5.3 基于...
第五章 特征选择和提取 ? 特征选择和提取是构造模式识别系统时的一 个重要课题– 在很多实际问题中,往往不容易找到那些最重要 的特征,或受客观条件的限制,不能...
模式识别-5--特征选择与提取 隐藏>> 第五章 特征选择与提取 ? ? ? ? ? 基本概念 模式类别可分性的测度 特征选取 离散K-L变换 采用K-L变换的分类特征提取 ...
特征选择与特征提取 第5章 特征选择与特征提取 5.1 基本概念 5.2 类别可分性测度 5.3 基于类内散布矩阵的单类模式特征提取 5.4 基于K-L变换的多类模式特征...
模式识别与神经网络 内容目录 6.1 引言 第六章 模式特征的选择与提取 6.2 类别可分离性判据 6.3 特征提取与K-L变换 6.4 特征的选择 6.5 讨论 6.1 ...
5 模式识别原理课件-第5章... 49页 免费 特征选择与特征提取 8页 1财富值 特征的提取与选择 17页 免费 特征的选择与提取 47页 免费 特征提取与选择 35页 ...
特征提取 离散K 与选择中的应用 1 第七章 特征提取与选择 7.1 概 述 2 第七章 特征提取与选择 7.1概述 概述 模式识别的三大核心问题: 模式识别的三大核心...
山东经济学院 计算机科学与技术学院 刘兆广 模式识别(Pattern Recognition) 第五章特征的选择和提取 1 山东经济学院 计算机科学与技术学院 刘兆广 模式识别(Pattern ...
模式识别特征的选择和提取_工学_高等教育_教育专区。这是一套模式识别的课件,包括...均方误差 是λ2 +λ3 = 5, 要选两个特征,应选e1 、e2方向,均方 误差是...
热门文档