文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > 经管营销 > 统计学习理论导论-3
侵权投诉

统计学习理论导论-3

统计学习理论导论(清华大学张学工讲义)

学习问题的一般表示

回顾 损失函数:风险函数:

设有定义在空间Z上的概率测度F(z)。考虑函数的集合

L( y, f ( x,α )) R (α )=∫ L( y, f ( x,α ))dF ( x, y ) (1-2)

Q (z,α ),α∈Λ。机器学习的一般问题就是,在概率测度 F(z)未知,但给定了一定的独立同分布样本

z1, L, zl 的条件下,最小化风险泛函

(1-7) (1-6)

学习的目标就是:在联合概率分布函数 F ( x, y )未知、所有可用的信息都包含在训练集中的情况下,寻找函数 f ( x,α0 ),使它(在函数类 f (x,α ),α∈Λ上)最小化风险泛函 R (α )。

R(α )=∫ Q ( z,α )dF ( z ),α∈Λ 记解为Q ( z,α 0 ) .

Xuegong Zhang Tsinghua University

1

要设计一个学习机器,需要做几件事?——不同学习理论的区别所在 1.确定原则 2.确定函数集及学习目标——不同学习机器的区别所在 3.确定训练算法——具体的实现算法 Xuegong Zhang Tsinghua University

2

统计学习理论研究的是下面四个问题:

基本起点:ERM原则 Remp (α )= 1 l∑ Q ( zi,α ) l i=1

R (α )=∫ Q ( z,α )dF ( z ),α∈Λ

一个基于ERM原则的学习过程一致充分必要条件是什么?这个学习过程收敛的速度有多快?如何控制这个学习过程的收敛速度(推广能力)?怎样构造能够控制推广能力的算法? Xuegong Zhang Tsinghua University 4

Xuegong Zhang Tsinghua University

3

R emp (α )=

1 l∑ Q ( zi,α ) l i=1

R (α )=∫ Q ( z,α ) dF ( z ),α∈Λ

第二章 ERM原则和学习过程的一致性 经验风险最小化的核心问题: 一个使经验风险最小的学习机器,是否也使期望风险 (实际风险)最小?什么情况下是?什么情况下否?即,经验风险最小化学习过程一致性的充分必要条件是什么?――统计学习理论的基础 Xuegong Zhang Tsinghua University 5

2.1一致性(consistency)的概念 设 Q ( z,α l )是对给定的独立同分布观测 z1, L, zl使经验风险泛函 Remp= 1 l∑ Q ( zi,α ) l i=1 P

最小化的函数。如果下面两个序列依概率收敛于同一个极限,即 R(α l )→ inf R(α )

Remp (α l )→ inf R(α ) l→∞α∈Λ

l→∞α∈Λ P

,,

(2-1) (2-2)

则我们说ERM原则(或方法)对函数集Q(z,α ),α∈Λ和概率分布函数 F(z)是一致的。

Xuegong Zhang Tsinghua University

6

统计学习理论导论-3

统计学习理论导论-3

统计学习理论导论-3

统计学习理论导论-3

统计学习理论导论-3

统计学习理论导论-3

第1页

你可能喜欢

  • 统计学习基础
  • 支持向量机原理
  • 统计机器学习
  • 技术综述
  • 数据挖掘
  • 人工智能课件
  • 概率图模型

热门文档

相关文档

  • 统计学习理论导论-10

    统计学习理论导论-6 6页 免费 统计学习理论导论-4 6页 免费 统计学习理论导论-2 6页 免费 统计学习理论导论-5 3页 免费 统计学习理论导论-7 5页 免费...

  • 统计学习理论导论(清华大学张学工讲义)-1

    统计学习理论导论-2 统计学习理论导论-3 统计学习理论导论-4 统计学习理论导论-5 统计学习理论导论-6 统计学习理论导论-7 统计学习理论导论-10...

  • 统计学习理论导论-5

    统计学习理论导论-2 6页 免费 统计学习理论导论-4 6页 免费 统计学习理论导论-6 6页 免费 统计学习理论导论-3 4页 免费 统计学习理论导论(清华大学... 6...

  • 统计学习理论导论-7

    统计学习理论导论-6 6页 免费 统计学习理论导论-2 6页 免费 统计学习理论导论-5 3页 免费 统计学习理论导论-3 4页 免费 统计学习理论导论-4 6页 免费...

  • 统计学习理论导论-2

    统计学习理论导论(清华大学... 6页 免费 统计学习理论导论-5 3页 免费 统计学习理论导论-4 6页 免费 统计学习理论导论-6 6页 免费 统计学习理论导论-3 4...

  • 统计学习理论导论-4

    统计学习理论导论-4_经管营销_专业资料。统计学习理论导论(清华大学张学工讲义)...(相对于经验风险) 学习机器的推广能力 Xuegong Zhang Tsinghua University 3 3....

  • 统计学习理论导论-6

    统计学习理论导论-4 6页 免费 统计学习理论导论-5 3页 免费 统计学习理论导论-2 6页 免费 统计学习理论导论-3 4页 免费 统计学习理论导论(清华大学... 6...

  • 统计学习理论导论-9

    统计学习理论导论-9 rtrt隐藏>> 6.1 线性SVR原问题 第六章 用于函数估计的...Xuegong Zhang Tsinghua University 3 Xuegong Zhang Tsinghua University 4 实际是...

  • 统计学习理论导论-8

    统计学习理论导论-6 6页 免费 统计学习理论导论-5 3页 免费 统计学习理论导论-2 6页 免费 统计学习理论导论-10 9页 免费 统计学习理论导论-7 5页 免费...

  • 关于统计学习理论与支持向量机

    28页 免费 统计学习理论导论-6 6页 免费 统计学习理论导论(清华大学... 6页 免费 统计学习理论导论-3 4页 免费 统计学习理论导论-4 6页 免费...

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email