统计学习理论导论(清华大学张学工讲义)
2.7学习理论的三个里程碑 考查指示函数集 Q (z,α ),α∈Λ。关于函数集性质(能力)的三个概念: VC熵 VC Entropy
统计学习理论中的第一个里程碑: lim l→∞
HΛ (l )=0 l
它描述了ERM原则一致性的一个充分条件 HΛ (ε, l )<η ) l *
H (l )= E ln N ( z1, L, z l ) Λ H ann (l )= ln ENΛ ( z1, L, z l )
Λ
Λ
退火的VC熵 Annealed Entropy
(充分必要条件是: lim l→∞
Growth Function
生长函数 GΛ (l )= ln sup NΛ ( z1, L, z l ) z1,L, zl
它回答了:在什么条件下,经验风险最小化的解收敛于期望风险最小化的解? 19 Xuegong Zhang Tsinghua University 20
Λ且有: HΛ (l )≤ H ann (l )≤ GΛ (l )
Xuegong Zhang Tsinghua University
另一个问题:这种收敛的速度如何?在什么条件下收敛的渐近速度是快的?
统计学习理论中的第二个里程碑:
lim l→∞
Λ H ann (l )=0 l
学习过程收敛速度快的一个充分条件(必要条件尚不得而知)定义:收敛的渐近速度快,是指对任何 l> l0,都有下面的指数界成立: 2 P{ R(α l ) R(α 0 )>ε}< e cε l,其中 c> 0是某个常数。请参考统计学中有关经验过程的理论 Xuegong Zhang Tsinghua University 21
注意:VC熵和
VC退火熵都是对一个给定的概率测度定义的,因此上面的两个条件也是依赖与这个概率测度的。问题:我们的目标是建立一个学习机器,使它能够解决很多不同的问题(对于很多不同的概率测度)。即:在什么条件下,不依赖于概率测度,ERM原则是一致的且同时有快的收敛速度? Xuegong Zhang Tsinghua University 22
统计学习理论中的第三个里程碑:对任何概率测度ERM具有一致性的充分必要条件是:
思考题(选作) 试结合具体实例说明,为什么学习机器的能力(复杂性)相对于样本数目来说不能太强。即,用某个或某些学习机器的实例说明统计学习理论的三个(或其中某个)里程碑结论的直观意义。 10月内任何时间交都可以(交给凡时财)。
GΛ (l ) lim=0 l→∞ l 而且,如果这个条件成立,则收敛的速度是快的。
这三个里程碑构成了统计学习理论的重要基础。
Xuegong Zhang Tsinghua University
23
Xuegong Zhang Tsinghua University
24






统计学习理论导论-6 6页 免费 统计学习理论导论-4 6页 免费 统计学习理论导论-2 6页 免费 统计学习理论导论-5 3页 免费 统计学习理论导论-7 5页 免费...
统计学习理论导论-2 统计学习理论导论-3 统计学习理论导论-4 统计学习理论导论-5 统计学习理论导论-6 统计学习理论导论-7 统计学习理论导论-10...
统计学习理论导论-2 6页 免费 统计学习理论导论-4 6页 免费 统计学习理论导论-6 6页 免费 统计学习理论导论-3 4页 免费 统计学习理论导论(清华大学... 6...
统计学习理论导论-6 6页 免费 统计学习理论导论-2 6页 免费 统计学习理论导论-5 3页 免费 统计学习理论导论-3 4页 免费 统计学习理论导论-4 6页 免费...
统计学习理论导论(清华大学... 6页 免费 统计学习理论导论-5 3页 免费 统计学习理论导论-4 6页 免费 统计学习理论导论-6 6页 免费 统计学习理论导论-3 4...
统计学习理论导论-4_经管营销_专业资料。统计学习理论导论(清华大学张学工讲义)...(相对于经验风险) 学习机器的推广能力 Xuegong Zhang Tsinghua University 3 3....
统计学习理论导论-4 6页 免费 统计学习理论导论-5 3页 免费 统计学习理论导论-2 6页 免费 统计学习理论导论-3 4页 免费 统计学习理论导论(清华大学... 6...
统计学习理论导论-9 rtrt隐藏>> 6.1 线性SVR原问题 第六章 用于函数估计的...Xuegong Zhang Tsinghua University 3 Xuegong Zhang Tsinghua University 4 实际是...
统计学习理论导论-6 6页 免费 统计学习理论导论-5 3页 免费 统计学习理论导论-2 6页 免费 统计学习理论导论-10 9页 免费 统计学习理论导论-7 5页 免费...
28页 免费 统计学习理论导论-6 6页 免费 统计学习理论导论(清华大学... 6页 免费 统计学习理论导论-3 4页 免费 统计学习理论导论-4 6页 免费...
热门文档