adaboost算法的详细说明
关于adaboost的一些说明
由 路呆 » 2008-10-15 10:20
上学期拿出一部分时间来做adaboost,做的时候做了一些笔记。论坛上也有一些正在读程序研究算法的人。我就把这份粗糙的笔记拿出来与大家分享一下吧。肯定有错误的地方,也有不妥当的地方,大家不要太相信我
还有这个地方不能贴公式,不能贴图片,还有我很懒,就挑了几幅重要的贴了,其他的大家去看文章吧
排版不好看,也许写得也不明白,大家多包涵,希望大家可以完善这个文档。让后来者少走些弯路。
不用发论坛消息问我,发在这里让更多人看见,更多人解答,然后也可以让更多的人知道,更好些
第一部分:算法的产生
1996年Yoav Freund在Experiments with a New Boosting Algorithm中提出了AdaBoost.M1和AdaBoost.M2两种算法.其中,AdaBoost.M1是我们通常所说的Discrete AdaBoost;而AdaBoost.M2是M1的泛化形式.该文的一个结论是:当弱分类器算法使用简单的分类方法时,boosting的效果明显地统一地比bagging要好.当弱分类器算法使用C4.5时,boosting比bagging较好,但是没有前者的比较来得明显.
文献中记录的.M1算法
初始
1.获得一组样本(X)和它的分类(Y)和一个分类器(weaklearn).
2.赋予平均的权值分布D(i)
进入循环:T次
1. 赋予弱分类器权值D(i),使用弱分类器获得样本(X)到分类(Y)上的一个映射.(就是把某个X归到某个Y类中去)
2. 计算这个映射的误差e.e=各个归类错误的样本权值之和.如果e>1/2那么弱分类器训练失败,挑出循环,训练结束(这在二值检测中是不会发生的,而多值的情况就要看分类器够不够强健了)
3. 设B = e / ( 1 - e ).用于调整权值.因为e<1/2.因此0<B<1
4. 如果某样本分类正确,该样本的权值就乘以B让权值变小;如果分类错误,就让该样本的权值乘以B^-1或者不变,这样就让分类正确的样本权值降低,分类错误的样本权值升高,加强了对较难分类样本的分类能力
Adaboost算法 1、Adaboost算法简介 Adaboost算法是Freund和Schapire根据在线分配算法提出的,他 们详细分析了Adaboost算法错误率的上界,以及为了使强分类器达到 错误率,...
Adaboost是一种迭代算法,其核心思想是针对同 一个训练集训练不同的分类器(弱分类器),然后 把这些弱分类器集合起来,构成一个更强的最终 分类器(强分类器)。其...
Adaboost 算法 1、AdaBoost 算法简介 AdaBoost 算法是 Freund 和 Schapire 根据在线分配算法提出的,他们详细分析了 AdaBoost 算法错误率的上界,以及为了使强分类器达到...
目前因为做人脸识别的一个小项目,用到了 AdaBoost 的人脸识别算法,因为在 网上找到的所有的 AdaBoost 的简介都不是很清楚,让我看看头脑发昏,所以在 这里打算花费...
Discete-AdaBoost 算法 1、给定训练集: ( x1 , y1 ) ,..., ( xN , y N ) ,其中 yi ∈ {1, ?1} ,表示 xi 的正确 的类别标签, i = 1,......
3 AdaBoost 算法 在实 例中的应用 下面通过一个简单的例子进一步理 解AdaBoost算法,该例子主要是利用AdaBoost算法 来识别喷码图像。图3 :Harr-Like特征 3.1 弱...
Adaboost 算法整理 Adaboost 算法流程图: 弱分类器的训练过程: 一个弱分类器 h(x, f , p, 成: )由一个特征 f, 阈值 θ 和指示不等号方向的 p 组 一...
AdaBoost算法_计算机软件及应用_IT/计算机_专业资料。Adaboost 算法Adaboost 算法 ? 算法介绍 ? 算法分析 ? 算法步骤 ? 训练过程 ? 举例说明 1 Adaboost 算法...
AdaBoost 算法 AdaBoost 算法针对不同的训练集训练同一个基本分类器(弱分类器),然后 把这些在不同训练集上得到的分类器集合起来,构成一个更强的最终的分类器 (...
Adaboost 是一种迭代算法, 其核心思想是针对同一个训练集训练不 同的分类器(弱分类器),然后把这 Adaboost 些弱分类器集合起来, 构成一个更强的最终分类器(强...
热门文档