统计学习理论导论(清华大学张学工讲义)
学习问题的一般表示
回顾 损失函数:风险函数:
设有定义在空间Z上的概率测度F(z)。考虑函数的集合
L( y, f ( x,α )) R (α )=∫ L( y, f ( x,α ))dF ( x, y ) (1-2)
Q (z,α ),α∈Λ。机器学习的一般问题就是,在概率测度 F(z)未知,但给定了一定的独立同分布样本
z1, L, zl 的条件下,最小化风险泛函
(1-7) (1-6)
学习的目标就是:在联合概率分布函数 F ( x, y )未知、所有可用的信息都包含在训练集中的情况下,寻找函数 f ( x,α0 ),使它(在函数类 f (x,α ),α∈Λ上)最小化风险泛函 R (α )。
R(α )=∫ Q ( z,α )dF ( z ),α∈Λ 记解为Q ( z,α 0 ) .
Xuegong Zhang Tsinghua University
1
要设计一个学习机器,需要做几件事?——不同学习理论的区别所在 1.确定原则 2.确定函数集及学习目标——不同学习机器的区别所在 3.确定训练算法——具体的实现算法 Xuegong Zhang Tsinghua University
2
统计学习理论研究的是下面四个问题:
基本起点:ERM原则 Remp (α )= 1 l∑ Q ( zi,α ) l i=1
R (α )=∫ Q ( z,α )dF ( z ),α∈Λ
一个基于ERM原则的学习过程一致充分必要条件是什么?这个学习过程收敛的速度有多快?如何控制这个学习过程的收敛速度(推广能力)?怎样构造能够控制推广能力的算法? Xuegong Zhang Tsinghua University 4
Xuegong Zhang Tsinghua University
3
R emp (α )=
1 l∑ Q ( zi,α ) l i=1
R (α )=∫ Q ( z,α ) dF ( z ),α∈Λ
第二章 ERM原则和学习过程的一致性 经验风险最小化的核心问题: 一个使经验风险最小的学习机器,是否也使期望风险 (实际风险)最小?什么情况下是?什么情况下否?即,经验风险最小化学习过程一致性的充分必要条件是什么?――统计学习理论的基础 Xuegong Zhang Tsinghua University 5
2.1一致性(consistency)的概念 设 Q ( z,α l )是对给定的独立同分布观测 z1, L, zl使经验风险泛函 Remp= 1 l∑ Q ( zi,α ) l i=1 P
最小化的函数。如果下面两个序列依概率收敛于同一个极限,即 R(α l )→ inf R(α )
Remp (α l )→ inf R(α ) l→∞α∈Λ
l→∞α∈Λ P
,,
(2-1) (2-2)
则我们说ERM原则(或方法)对函数集Q(z,α ),α∈Λ和概率分布函数 F(z)是一致的。
Xuegong Zhang Tsinghua University
6






统计学习理论导论-6 6页 免费 统计学习理论导论-4 6页 免费 统计学习理论导论-2 6页 免费 统计学习理论导论-5 3页 免费 统计学习理论导论-7 5页 免费...
统计学习理论导论-2 统计学习理论导论-3 统计学习理论导论-4 统计学习理论导论-5 统计学习理论导论-6 统计学习理论导论-7 统计学习理论导论-10...
统计学习理论导论-2 6页 免费 统计学习理论导论-4 6页 免费 统计学习理论导论-6 6页 免费 统计学习理论导论-3 4页 免费 统计学习理论导论(清华大学... 6...
统计学习理论导论-6 6页 免费 统计学习理论导论-2 6页 免费 统计学习理论导论-5 3页 免费 统计学习理论导论-3 4页 免费 统计学习理论导论-4 6页 免费...
统计学习理论导论(清华大学... 6页 免费 统计学习理论导论-5 3页 免费 统计学习理论导论-4 6页 免费 统计学习理论导论-6 6页 免费 统计学习理论导论-3 4...
统计学习理论导论-4_经管营销_专业资料。统计学习理论导论(清华大学张学工讲义)...(相对于经验风险) 学习机器的推广能力 Xuegong Zhang Tsinghua University 3 3....
统计学习理论导论-4 6页 免费 统计学习理论导论-5 3页 免费 统计学习理论导论-2 6页 免费 统计学习理论导论-3 4页 免费 统计学习理论导论(清华大学... 6...
统计学习理论导论-9 rtrt隐藏>> 6.1 线性SVR原问题 第六章 用于函数估计的...Xuegong Zhang Tsinghua University 3 Xuegong Zhang Tsinghua University 4 实际是...
统计学习理论导论-6 6页 免费 统计学习理论导论-5 3页 免费 统计学习理论导论-2 6页 免费 统计学习理论导论-10 9页 免费 统计学习理论导论-7 5页 免费...
28页 免费 统计学习理论导论-6 6页 免费 统计学习理论导论(清华大学... 6页 免费 统计学习理论导论-3 4页 免费 统计学习理论导论-4 6页 免费...
热门文档