文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > IT/计算机 > adaBoost的算法说明
侵权投诉

adaBoost的算法说明

adaboost算法的详细说明

种方法与bagging存在某种关联,它也是Boost的成功之处中降低相关度方面的重要部分.

2.在第二步中如果使用加权的tree-growing算法,而不是重采样算法,效果会更好. This removes the randomization component essential in bagging

3.使用stumps作为弱分类器

Logit和Gentle算法的提出过程大致是这样的

1. 验证Boosting algorithms是一种拟合一个additive logistic regression model(加性的逻辑回归模型)的阶段式估计过程.它有最优一个指数判据,这个判据由第二定理与二项式对数似然判据是等价的.

2. 作者证明Discrete是使用adaptive Newton updates拟合一个additive logistic regression model来最小化Ee^(-yF(x))的过程,其中F(x)=求和fm(x),而fm(x)就是各层分类器的结果

3. 作者证明Real是使用层级最优的方法来拟合一个additive logistic regression model.

4. 作者说明了为什么要选择Ee^(-yF(x))作为目标:因为大家都用这个

5. 作者证明了当(blabla一个很复杂的公式,贴不出来)时Ee^(-yF(x))最小

6. 作者证明了每次权值更新以后,最近一次训练出的弱分类器错误率为50%.

7. 作者证明了对于最优的F(x),样本的分类乘以权值的和应该为0.

于是作者用80年代兴起的逻辑回归的寻优方法中提炼出了LogitBoost(我终于找到logitBoost的logic了)

自适应的牛顿法,拟合加性logistic回归模型

1. 获得样本,(x,y)序列.将分类y*=(y+1)/2

2. 设置初值,F(x)=0,p(xi)=1/2

进入循环

1. 依式计算zi,wi.

2. 通过加权最小二乘的方式拟合函数fm(x).由zi拟合xi,权重为wi

3. 更新F(x),p(x)

退出循环

输出分类器sign[F(x)].

上一页第4页

你可能喜欢

热门文档

相关文档

  • Adaboost算法流程和证明

    Adaboost算法 1、Adaboost算法简介 Adaboost算法是Freund和Schapire根据在线分配算法提出的,他 们详细分析了Adaboost算法错误率的上界,以及为了使强分类器达到 错误率,...

  • adaboost算法

    Adaboost是一种迭代算法,其核心思想是针对同 一个训练集训练不同的分类器(弱分类器),然后 把这些弱分类器集合起来,构成一个更强的最终 分类器(强分类器)。其...

  • AdaBoost算法简介

    Adaboost 算法 1、AdaBoost 算法简介 AdaBoost 算法是 Freund 和 Schapire 根据在线分配算法提出的,他们详细分析了 AdaBoost 算法错误率的上界,以及为了使强分类器达到...

  • ADABOOST算法

    目前因为做人脸识别的一个小项目,用到了 AdaBoost 的人脸识别算法,因为在 网上找到的所有的 AdaBoost 的简介都不是很清楚,让我看看头脑发昏,所以在 这里打算花费...

  • AdaBoost算法流程和证明

    Discete-AdaBoost 算法 1、给定训练集: ( x1 , y1 ) ,..., ( xN , y N ) ,其中 yi ∈ {1, ?1} ,表示 xi 的正确 的类别标签, i = 1,......

  • Adaboost算法概述

    3 AdaBoost 算法 在实 例中的应用 下面通过一个简单的例子进一步理 解AdaBoost算法,该例子主要是利用AdaBoost算法 来识别喷码图像。图3 :Harr-Like特征 3.1 弱...

  • Adaboost算法自己整理

    Adaboost 算法整理 Adaboost 算法流程图: 弱分类器的训练过程: 一个弱分类器 h(x, f , p, 成: )由一个特征 f, 阈值 θ 和指示不等号方向的 p 组 一...

  • AdaBoost算法

    AdaBoost算法_计算机软件及应用_IT/计算机_专业资料。Adaboost 算法Adaboost 算法 ? 算法介绍 ? 算法分析 ? 算法步骤 ? 训练过程 ? 举例说明 1 Adaboost 算法...

  • AdaBoost算法

    AdaBoost 算法 AdaBoost 算法针对不同的训练集训练同一个基本分类器(弱分类器),然后 把这些在不同训练集上得到的分类器集合起来,构成一个更强的最终的分类器 (...

  • Adaboost算法简介

    Adaboost 是一种迭代算法, 其核心思想是针对同一个训练集训练不 同的分类器(弱分类器),然后把这 Adaboost 些弱分类器集合起来, 构成一个更强的最终分类器(强...

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email