文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > 经管营销 > 统计学习理论导论-3
侵权投诉

统计学习理论导论-3

统计学习理论导论(清华大学张学工讲义)

2.7学习理论的三个里程碑 考查指示函数集 Q (z,α ),α∈Λ。关于函数集性质(能力)的三个概念: VC熵 VC Entropy

统计学习理论中的第一个里程碑: lim l→∞

HΛ (l )=0 l

它描述了ERM原则一致性的一个充分条件 HΛ (ε, l )<η ) l *

H (l )= E ln N ( z1, L, z l ) Λ H ann (l )= ln ENΛ ( z1, L, z l )

Λ

Λ

退火的VC熵 Annealed Entropy

(充分必要条件是: lim l→∞

Growth Function

生长函数 GΛ (l )= ln sup NΛ ( z1, L, z l ) z1,L, zl

它回答了:在什么条件下,经验风险最小化的解收敛于期望风险最小化的解? 19 Xuegong Zhang Tsinghua University 20

Λ且有: HΛ (l )≤ H ann (l )≤ GΛ (l )

Xuegong Zhang Tsinghua University

另一个问题:这种收敛的速度如何?在什么条件下收敛的渐近速度是快的?

统计学习理论中的第二个里程碑:

lim l→∞

Λ H ann (l )=0 l

学习过程收敛速度快的一个充分条件(必要条件尚不得而知)定义:收敛的渐近速度快,是指对任何 l> l0,都有下面的指数界成立: 2 P{ R(α l ) R(α 0 )>ε}< e cε l,其中 c> 0是某个常数。请参考统计学中有关经验过程的理论 Xuegong Zhang Tsinghua University 21

注意:VC熵和

VC退火熵都是对一个给定的概率测度定义的,因此上面的两个条件也是依赖与这个概率测度的。问题:我们的目标是建立一个学习机器,使它能够解决很多不同的问题(对于很多不同的概率测度)。即:在什么条件下,不依赖于概率测度,ERM原则是一致的且同时有快的收敛速度? Xuegong Zhang Tsinghua University 22

统计学习理论中的第三个里程碑:对任何概率测度ERM具有一致性的充分必要条件是:

思考题(选作) 试结合具体实例说明,为什么学习机器的能力(复杂性)相对于样本数目来说不能太强。即,用某个或某些学习机器的实例说明统计学习理论的三个(或其中某个)里程碑结论的直观意义。 10月内任何时间交都可以(交给凡时财)。

GΛ (l ) lim=0 l→∞ l 而且,如果这个条件成立,则收敛的速度是快的。

这三个里程碑构成了统计学习理论的重要基础。

Xuegong Zhang Tsinghua University

23

Xuegong Zhang Tsinghua University

24

统计学习理论导论-3

统计学习理论导论-3

统计学习理论导论-3

统计学习理论导论-3

统计学习理论导论-3

统计学习理论导论-3

上一页第4页

你可能喜欢

  • 统计学习基础
  • 支持向量机原理
  • 统计机器学习
  • 技术综述
  • 数据挖掘
  • 人工智能课件
  • 概率图模型

热门文档

相关文档

  • 统计学习理论导论-10

    统计学习理论导论-6 6页 免费 统计学习理论导论-4 6页 免费 统计学习理论导论-2 6页 免费 统计学习理论导论-5 3页 免费 统计学习理论导论-7 5页 免费...

  • 统计学习理论导论(清华大学张学工讲义)-1

    统计学习理论导论-2 统计学习理论导论-3 统计学习理论导论-4 统计学习理论导论-5 统计学习理论导论-6 统计学习理论导论-7 统计学习理论导论-10...

  • 统计学习理论导论-5

    统计学习理论导论-2 6页 免费 统计学习理论导论-4 6页 免费 统计学习理论导论-6 6页 免费 统计学习理论导论-3 4页 免费 统计学习理论导论(清华大学... 6...

  • 统计学习理论导论-7

    统计学习理论导论-6 6页 免费 统计学习理论导论-2 6页 免费 统计学习理论导论-5 3页 免费 统计学习理论导论-3 4页 免费 统计学习理论导论-4 6页 免费...

  • 统计学习理论导论-2

    统计学习理论导论(清华大学... 6页 免费 统计学习理论导论-5 3页 免费 统计学习理论导论-4 6页 免费 统计学习理论导论-6 6页 免费 统计学习理论导论-3 4...

  • 统计学习理论导论-4

    统计学习理论导论-4_经管营销_专业资料。统计学习理论导论(清华大学张学工讲义)...(相对于经验风险) 学习机器的推广能力 Xuegong Zhang Tsinghua University 3 3....

  • 统计学习理论导论-6

    统计学习理论导论-4 6页 免费 统计学习理论导论-5 3页 免费 统计学习理论导论-2 6页 免费 统计学习理论导论-3 4页 免费 统计学习理论导论(清华大学... 6...

  • 统计学习理论导论-9

    统计学习理论导论-9 rtrt隐藏>> 6.1 线性SVR原问题 第六章 用于函数估计的...Xuegong Zhang Tsinghua University 3 Xuegong Zhang Tsinghua University 4 实际是...

  • 统计学习理论导论-8

    统计学习理论导论-6 6页 免费 统计学习理论导论-5 3页 免费 统计学习理论导论-2 6页 免费 统计学习理论导论-10 9页 免费 统计学习理论导论-7 5页 免费...

  • 关于统计学习理论与支持向量机

    28页 免费 统计学习理论导论-6 6页 免费 统计学习理论导论(清华大学... 6页 免费 统计学习理论导论-3 4页 免费 统计学习理论导论-4 6页 免费...

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email