前言：当做重要决定时，大家可能综合考虑多个专家而不是一个人的意见。机器学习处理问题也是如此，这就是元算法背后的思路。元算法是对其他算法进行组合的一种方式，前几天看了一个称作adaboost方法的介绍，今天和大家分享一下。一、bagging算法：基于数据随机抽样的分类器构建方法自举汇聚法，也称为bagging算法，就是从原始数据集中选择S次后得到S个新数据集的一种技术。新数据集和原数据集大小相等，每个数据集都是在原始数据集中选择一个样本来进行替换得到的，，这里的替换意味着可以多吃选择同一个样本。当S个数据集建立好之后，将某个机器学习算法等别作用在每个数据集中就得到了S个分类器。当我们要对新的数据进行分类时，就可以应用这S个分类器进行分类，与此同时，选择分类器投票结果中更多的类别作为最终的分类结果。
bagging方法的主要过程
主要思路：
i)训练分类器
从整体样本集合中，抽样n*<N个样本 针对抽样的集合训练分类器Ci
ii)分类器进行投票，最终的结果是分类器投票的优胜结果
但是，上述这种方法，都只是将分类器进行简单的组合，实际上，并没有发挥出分类器组合的威力来。直到1989年，Yoav Freund与 Robert Schapire提出了一种可行的将弱分类器组合为强分类器的方法。并由此而获得了2003年的哥德尔奖（Godel price）。
Schapire还提出了一种早期的boosting算法，其主要过程如下：
i)从样本整体集合D中，不放回的随机抽样n1<n个样本，得到集合D1
训练弱分类器C1
ii)从样本整体集合D中，抽取n2<n个样本，其中合并进一半被C1分类错误的样本。得到样本集合D2
训练弱分类器C2
iii)抽取D样本集合中，C1和C2分类不一致样本，组成D3
训练弱分类器C3
iv)用三个分类器做投票，得到最后分类结果
由于boosting分类结果是基于所有分类器的加权求和结果的，因此boosting算法和bagging算法不一样，bagging算法中的分类器权重是相等的，而boosting算法分类器权重并不想等，每个权重代表的是其对应的分类器在上一轮叠代中的成功度（识别率）。
能否使用弱分类器和多个实例来构建一个强分类器？
到了1995年，Freund and schapire提出了现在的adaboost算法，其主要框架可以描述为：
i)循环迭代多次
更新样本分布
寻找当前分布下的最优弱分类器
计算弱分类器误差率
ii)聚合多次训练的弱分类器
Adaboosting是Adaptive boosting算法的缩写，其运行过程如下：训练数据中的每个样本，并赋予一个权重值，这些权重构成向量D。一开始这些权重都被初始化为相同的值，首先在训练数据上训练处一个弱分类器并计算该分类器的错误率，然后在同一数据集上再次训练弱分类器。在分类器的第二次训练中，将会调整每个样本的权重，其中第一次被正确分类的样本权重值将会降低，而被错分的样本权重值将会提高（对分类错误做出一定的惩罚）。为了综合所有的弱分类器得到最终的分类结果，Adaboost为每个分类器都分配了一个圈子alpha，这个alpha值是基于每个弱分类器的错误率进行计算的，错误率e=（未被正确分类的样本数）/所有样本数。
alpha的计算公式:
计算出alpha后，可以对权重向量进行更新，使得那些正确分类的样本权重降低错分样本权重升高
在下图中可以看到完整的adaboost算法：
图1.1 adaboost算法过程
现在，boost算法有了很大的发展，出现了很多的其他boost算法，例如：logitboost算法，gentleboost算法等等。在这次报告中，我们将着重介绍adaboost算法的过程和特性。
简单来说，Adaboost有很多优点:
1)adaboost是一种有很高精度的分类器
2)可以使用各种方法构建子分类器，adaboost算法提供的是框架
3)当使用简单分类器时，计算出的结果是可以理解的。而且弱分类器构造极其简单
4)简单，不用做特征筛选
5)不用担心overfitting！
总之：adaboost是简单，有效。
下面我们举一个简单的例子来看看adaboost的实现过程：
图中，“+”和“-”分别表示两种类别，在这个过程中，我们使用水平或者垂直的直线作为分类器，来进行分类。
第一步：
不要因为世态变迁而埋怨,不要因为命运多舛而怨恨.
