【机器学习】集成学习——AdaBoost算法与原理推导

【集成学习】

集成学习，通过构建并组合一系列的个体学习器（基学习器或组件学习器）来完成学习任务。对于个体学习器可分为：①同质学习器（基学习器）、②异质学习器（组件学习器）。这里的同质和异质指：个体学习器是否为同种类型的学习器（学习算法一致），例如：都是决策树算法得到的个体学习器（同质）；既有决策树算法得到的个体学习器，又有其他算法得到的学习器（异质）。

弱学习器，指泛化性能略优于随机猜测的学习器；那么相对的，强学习器，指泛化性能较好的学习器。我们一般称基学习器或者简单算法的个体学习器为弱学习器。集成学习，就是对一系列弱学习器进行组合，进而构建出强学习器的一种策略（算法）。
从理论上讲，使用弱学习器集成足以获得很好的效果，但是在实际过程中，为了追求更好的效果，人们往往更倾向于选择泛化性能较强的学习器。
对个体学习器的要求： 要获得好的集成效果，个体学习器应该“好而不同”，即个体学习器要有一定的“准确性”，即学习器不能太坏，并且要有“多样性”，即学习器间要有差异。由于“准确性”和“多样性”本身就存在冲突，（根据交叉验证方式：“准确性”依托大量的样本，就会降低训练集的“多样性”，进而导致个体学习器“多样性”下降）所以如何产生并结合“好而不同”的个体学习器，恰恰是集成学习研究的核心内容。
多个弱学习器集成就可以得到强学习器的推导：
以二分类问题为例，预测值$y\in\{-1,1\}$和真实函数$f(x)$,假定基分类器的错误率为$\epsilon$,则有：
$P(h_i(x)\neq f(x))=\epsilon$
假设集成通过简单投票法结合$T$个基分类器，若有超过半数的基分类器正确，则集成分类就正确：
$H(x)=sign\left(\sum_{i=1}^{T}h_i(x)\right)$
假设基分类器的错误率相互独立，则可得：
$P(h_i(x)\neq f(x))=\sum_{k=0}^{\lfloor T/2 \rfloor} \begin{pmatrix} T\\ k \end{pmatrix}(1-\epsilon)^k\epsilon^{T-k} \leq \exp \left(-\frac{1}{2}T(1-2\epsilon)^2\right)$
故，随着个体学习器数目$T$的增大，集成的错误率将指数级下降，并最终趋于0。这就是为什么多个弱学习器能够组合出强学习器的原因所在。

集成学习分类：

• Boosting:个体学习器之间存在强依赖关系，必须串行生成的序列化方法。
• Bagging：个体学习器之间存在弱依赖关系，可同时生成的并行化方法。

【Boosting—Adaboost算法】

Boosting算法是一族可将弱学习器提升为强学习器的算法。Boosting族算法的工作机制如下：

先从初始训练集训练出一个基学习器，再根据基学习器的表现对训练样本分布进行调整，使得先前基学习器做错的训练样本在后续受到更多关注，然后基于调整后的样本分布来训练下一个基学习器；如此重复进行，直至基学习器数目达到事先指定的值$T$，最终将这$T$个基学习器进行加权结合。 ———源自周志华《机器学习》

Adaboost算法，英文全称为：Adaptive Boosting，即自适应增强，是一种典型的Boosting算法。其实现思路如下(类比Boosting的工作机制)：

利用“重赋权法”（re-weighting),即在训练过程的每一轮中，根据样本分布为每个训练样本重新赋予一个权重。
首先，初始化训练集权重分布。即先对原始训练集中的每个样本赋予相同的权重，假如训练集有$N$个样本，那么每个样本的初始权重均为$\frac{1}{N}$
其次，循环训练弱分类器。将加有权重的训练集用于训练弱学习器，在训练过程中，如果某个样本能够准确地分类和预测，那么在构造下一个训练集的过程中，就要降低该样本的权重，同时增加无法准确分类或预测的样本的权重。重新确定样本权重后，然后进行下一次弱学习器的训练。如此重复进行，直至基学习器数目达到事先指定的值$T$或者准确率。
最后，组合生成的多个弱学习器得到强学习器。各个弱分类器的训练过程结束后，加大分类误差率小的弱分类器的权重，使其在最终的分类函数中起着较大的决定作用，而降低分类误差率大的弱分类器的权重，使其在最终的分类函数中起着较小的决定作用。换言之，误差率低的弱分类器在最终分类器中占的权重较大，否则较小。

AdaBoost算法编程流程图（西瓜书）

Adaboost算法详细实现过程
假定给出了一个二分类训练数据集
$T=\{(x_1,y_1),(x_2,y_2),\cdots,(x_n,y_n)\}$
其中$y_i$属于二分类的标记组合，即$y_i \in \{+1,-1\}$。

1. Step 1 初始化训练数据的权值分布
   首先将训练集中每一个样本赋予相同的权重，即$\frac{1}{N}$,即每个训练样本在基本分类器的学习中作用相同，用数学化的语言表示为：
   $D_1=\left(w_{11},w_{12},\cdots,w_{1i},\cdots,w_{1N} \right) \,\ w_{1i}=\frac{1}{N}\ ,i=1,2,\cdots,N$

2. Step 2 迭代训练基学习器
   用$m$表示迭代的轮数，其中$m=1,2,3,\cdots,M$

   1. 使用具有权值分布$Dm$的训练数据集学习，得到基本分类器
      $G_m\left(x\right):\chi\rightarrow\left\{-1,+1\right\}$
   2. 计算得到的基分类器$Gm(x)$在训练数据集上的分类误差率$e_m$
      $e_m=P\left(G_m\left(x\right)\ne y_i\right)=\frac{\sum_{i=1}^N{w_{mi}I\left(G_m\left(x_i\right)\ne y_i\right)}}{\sum_{i=1}^N{w_{mi}}}=\sum_{i=1}^N{w_{mi}I\left(G_m\left(x_i\right)\ne y_i\right)}$
      其中$w_{mi}$表示第$m$轮中第$i$个样本的权重，$\sum_{i=1}^N{w_{mi}=1}$，$I\left(G_m\left(x_i\right)\ne y_i\right)$为指示函数，表示$G_m\left(x_i\right) \neq y_i$时$I\left(G_m\left(x_i\right)\ne y_i\right)$=1，否则等于0。
      以上公式表明，Gm(x)在加权的训练数据集上的分类误差率是被Gm(x)误分类样本的权值之和。
   3. 计算$G_m$前面的权重系数$a_m$，该系数表示$G_m$在最终分类器中的重要程度 ,目的在于使我们得到基分类器在最终分类器中所占的权值，系数计算公式如下：
      $\alpha_m=\frac{1}{2}\ln\frac{1-e_m}{e_m}$
      由表达式可知，当$e_m≤12$时，$a_m≥0$，并且$a_m$随着$e_m$的减小而增大，意味着分类误差越小的基本分类器在最终分类器的作用越大，而$e_m≥12$则刚好相反，这正好验证了集成学习中每个个体分类器的分类精度必须大于$0.5$的前提条件。
   4. 更新训练数据集的权值分布（目的：得到样本的新的权值分布），用于下一轮迭代。
      $D_{m+1}=\left(w_{m+1,1},w_{m+1,2},\cdots,w_{m+1,i},\cdots,w_{m+1,N}\right)\,\,$
      其中：$w_{m+1,i}=\frac{w_{mi}}{Z_m}\exp\left(-\alpha_my_iG_m\left(x_i\right)\right),i=1,2,\cdots,N$
      $Z_m$是我们引入的一个规范化因子，它的作用在于使$D_{m+1}$成为一个概率分布,公式如下：
      $Z_m=\sum_{i=1}^N{w_{mi}}\exp\left(-\alpha_my_iG_m\left(x_i\right)\right),i=1,2,\cdots,N$
      由于是二分类，所以对上式可进一步可简化为：
      $w_{m+1,i}=\left\{\begin{matrix} \frac{w_{mi}}{Z_m}e^{-\alpha_m}\ ,& G_m\left(x_i\right)=y_i\\ \frac{w_{mi}}{Z_m}e^{\alpha_m}\ ,& G_m\left(xi\right)\ne y_i\\ \end{matrix}\right.$
      由此可知，被基本分类器$G_m(x)$误分类样本的权值得以扩大，而被正确分类样本的权值得以缩小。两两比较，误分类样本的权值$e^{2\alpha_m}=\frac{e_m}{1-e_m}$因此，误分类样本在下一轮学习中起更大的作用。不改变所给的训练数据，而不断改变训练数据权值的分布，使得训练数据在基本分类器的学习中起不同的作业，这是AdaBoost的一个特点。
   5. 重复步骤二中的1至4步骤，得到一系列的权重参数$a_m$和基分类器$G_m$。

3. Step 3 根据权重参数线性组合各个基学习器
   $f\left(x\right)=\sum_{m=1}^M{\alpha_mG_m\left(x\right)}$
   借助$sign()$函数，将$f(x)$的连续值转化为离散值，故最终的分类器为：
   $G\left(x\right)=sign\left(f\left(x\right)\right)=sign\left(\sum_{m=1}^M{\alpha_mG_m\left(x\right)}\right)$
   线性组合f(x)实现了M个基本分类器的加权表决。系数am表示了基本分类器Gm(x)的重要性，这里，所有的am之和并不为1。f(x)的符号决定实例x的类，f(x)的绝对值表示分类的确信度，利用基本分类器的线性组合构建最终分类器是AdaBoost的另一特点。

【例子说明】

目前查阅到的案例都是基于统计学习方法 李航著第8章8.1.3的Adaboost样例的叙述。在此不做过多的赘述，强烈建议参考该样例加深对Adaboost算法的理解。

【理论推导——坚持看下去】

看完以上的计算过程，我是对这些算法一头雾水，好奇心促使我查阅了大量的资料，查阅的资料公式一个比一个长，所以在此我要提醒你，要想理解Adaboost算法，你必须硬着头皮看下去。以下内容借鉴机器学习算法系列（6）：AdaBoost和Adaboost 算法的原理与推导。（结合看这两篇文章足以）

AdaBoost的训练误差界

定义AdaBoost的训练误差界为：
$\frac{1}{N}\sum_{i=1}^N{I\left(G\left(x_i\ne y_i\right)\right)}\le\frac{1}{N}\sum_i{\exp\left(-y_if\left(x_i\right)\right)=\prod_m{Z_m}}$
其中：
$\begin{aligned}G\left(x\right)&=sign\left(f\left(x\right)\right)=sign\left(\sum_{m=1}^M{\alpha_mG_m\left(x\right)}\right) \\ Z_m&=\sum_{i=1}^N{w_{mi}\exp\left(-\alpha_my_iG_m\left(x_i\right)\right)}\\ f\left(x\right)&=\sum_{m=1}^M{\alpha_mG_m\left(x\right)} \end{aligned}$
证明过程如下：
4. 当$G(x_i)≠y_i$时，$y_if(x_i)<0$，因而$\exp(-y_if(x_i))≥1$。由此直接推导出前半部分。
5. 后半部分的推导需要用到
$w_{m+1,i}=\frac{w_{mi}}{Z_m}\exp\left(-\alpha_my_iG_m\left(x_i\right)\right),i=1,2,\cdots,N$
进而可得：
$w_{mi}\exp\left(-\alpha_my_iG_m\left(x_i\right)\right)=Z_mw_{m+1,i}$
继续推导：
$\begin{aligned} & \quad\frac{1}{N}\sum_i{\exp\left(-y_if\left(x_i\right)\right)}\\ &=\frac{1}{N}\sum_i{\exp\left(-\sum_{m=1}^M{\alpha_my_iG_m\left(x_i\right)}\right)}\\ &=\sum_i{w_{1i}\prod_{m=1}^M{\exp\left(-\alpha_my_iG_m\left(x_i\right)\right)}}\\ &=Z_1\sum_i{w_{2i}\prod_{m=2}^M{\exp\left(-\alpha_my_iG_m\left(x_i\right)\right)}}\\ &=Z_1Z_2\sum_i{w_{3i}\prod_{m=3}^M{\exp\left(-\alpha_my_iG_m\left(x_i\right)\right)}}\\ &=Z_1Z_2\cdots Z_{M-1}\sum_i{w_{Mi}\exp\left(-\alpha_My_iG_m\left(x_i\right)\right)}\\ &=\prod_{m=1}^M{Z_m} \end{aligned}$
这一定理说明，可以在每一轮选取适当的$G_m$使得$Z_m$最小，从而使训练误差下降最快。

二分类问题的AdaBoost训练误差界

在AdaBoost训练误差界的基础之上，如果分类问题是二分类问题，那么根据以上结果我们可以进一步得到以下结论：
$\prod_{m=1}^M{Z_m}=\prod_{m=1}^M{\left[2\sqrt{e_m\left(1-e_m\right)}\right]}=\prod_{m=1}^M{\sqrt{\left(1-4\gamma_{m}^{2}\right)}}\le\exp\left(-2\sum_{m=1}^M{\gamma_{m}^{2}}\right)$
其中：$\gamma_m=\frac{1}{2}-e_m$
推导如下：
$\begin{aligned} Z_m&=\sum_{i=1}^N{w_{mi}\exp\left(-\alpha_my_iG_m\left(x_i\right)\right)}\\ &=\sum_{y_i=G_m\left(x_i\right)}{w_{mi}\exp\left(-\alpha_m\right)}+\sum_{y_i\ne G_m\left(x_i\right)}{w_{mi}\exp\left(\alpha_m\right)}\\ &=\left(1-e_m\right)e^{-\alpha_m}+e_me^{\alpha_m}\\ &=2\sqrt{e_m\left(1-e_m\right)}\\ &=\sqrt{1-4\gamma_{m}^{2}} \end{aligned}$
再者，根据先由$e^x$和$\sqrt{(1-x)}$在x=0处的泰勒展开式
$e^x=1+x+\frac{1}{2}x^2+\cdots+\frac{1}{n!}x^n+O\left(x^n\right)$
$\left(1-x\right)^{\frac{1}{2}}=1-\frac{1}{2}x-\frac{1}{8}x^2+\cdots+O\left(x^n\right)$
可得：$\sqrt{\left(1-4\gamma_{m}^{2}\right)}\le\exp\left(-2\gamma_{m}^{2}\right)$
故结论得证。
进一步引申为：
由上述两个定理推出，如果存在$γ>0$，对所有$m$有$γ_m⩾γ$，则
$\frac{1}{N}\sum_{i=1}^N{I\left(G\left(x_i\right)\ne y_i\right)}\le\exp\left(-2M\gamma^2\right)$
结论： AdaBoost的训练误差是以指数速率下降的。另外，AdaBoost算法不需要事先知道下界$γ$，AdaBoost具有自适应性，它能适应弱分类器各自的训练误差率 。

【AdaBoost算法的另一种理解——前项分步算法】

Adaboost 还有另外一种理解，即认为其算法模型是加法模型、损失函数为指数函数、学习算法为前向分步算法的二类分类学习方法。对于这种理解，我最直接的疑问就是，为什么AdaBoost的算是函数是指数损失函数？对此查阅了一些资料也不是很理解，但是从指数损失函数的式子去验证，也可以用来表示AdaBoost的损失。关于损失函数部分内容，请参考：【深度学习】一文读懂机器学习常用损失函数

加法模型(对应AdaBoost最终的f(x))

$f\left(x\right)=\sum_{m=1}^M{\beta_mb\left(x;\gamma_m\right)}$
其中$b(x;γ_m)$为基函数,$γ_m$为基函数的参数，$β_m$为基函数的系数。

损失函数极小化

在给定训练数据及损失函数$L(y,f(x))$的条件下，学习加法模型$f(x)$成为经验风险极小化即损失函数极小
$\underset{\beta_m,\gamma_m}{\min}\sum_{i=1}^N{L\left(y_i,\sum_{m=1}^M{\beta_mb\left(x_i;\gamma_m\right)}\right)}$

前向分步算法

由于学习的是加法模型，如果可以从前往后，每一步只学习一个基函数及其系数，逐步逼近优化目标函数式（即损失函数极小化表达式），那么就可以简化优化的复杂度。具体地，每一步只需要优化如下损失函数：
$\underset{\beta ,\gamma}{\min}\sum_{i=1}^N{L\left(y_i,\sum_{m=1}^M{\beta b\left(x;\gamma\right)}\right)}$
看完上面的公式，貌似还不是很理解什么是前向分步算法，具体步骤如下：

  输入：
  训练数据集$T=\{(x_1,y_1),(x_2,y_2),\cdots,(x_N,y_N)\}$
  损失函数$L(y,f(x))$;
  基函数（基学习器）集：$\{b(x;\gamma)\}$
  输出： 加法模型$f(x)$

1. 初始化$f_0(x)=0$
2. 对$m=1,2,\cdots,M$
   a. 极小化损失函数
   $\left(\beta_m,\gamma_m\right)=\arg \underset{\beta ,\gamma}{\min}\sum_{i=1}^{N}L(y_i,f_{m-1}(x_i)+\beta b(x_i;\gamma))$
   得到参数$\beta_m,\gamma_m$
   b. 更新
   $f_m(x)=f_{m-1}(x)+\beta_mb(x;\gamma_m)$
3. 得到加法模型
   $f(x)=f_M(x)=\sum_{m=1}^{M}\beta_mb(x;\gamma_m)$
   这样，前向分步算法将同时求解从$m=1$到$M$所有参数$\beta_m,\gamma_m$的优化问题简化为逐次求解各个$\beta_m,\gamma_m$的优化问题。

基于前向分步算法的推导

前向分布算法学习的是加法模型，当基函数为基本分类器时，该加法模型等价于AdaBoost的最终分类器$f\left(x\right)=\sum_{m=1}^M{\alpha_mG_m\left(x\right)}$，它由基分类器$G_m{(x)}$和权重参数$\alpha_m$。前向分步算法逐一学习基函数，这一过程与AdaBoost算法逐一学习基本分类器的过程一致。
证明: 前向分步算法的损失函数是指数函数:$L\left(y,f\left(x\right)\right)=\exp\left[-yf\left(x\right)\right]$
其学习的具体操作等价于AdaBoost算法学习的具体操作。
假设经过$m-1$轮迭代前向分步算法已经得到$f_{m-1}(x)$ :
$f_{m-1}\left(x\right)=f_{m-2}\left(x\right)+\alpha_{m-1}G_{m-1}\left(x\right)=\alpha_1G_1\left(x\right)+\alpha_2G_2\left(x\right)+\cdots+\alpha_{m-1}G_{m-1}\left(x\right)$
在$m$轮迭代得到$\alpha_m$，$G_m(x)$和$f_m(x)$，表示为
$f_m\left(x\right)=f_{m-1}\left(x\right)+\alpha_mG_m\left(x\right)$
此时参数$\alpha_m$和$G_m(x)$均未知。因此，我们的目标是要得到最小化损失函数，通过最小化损失函数来得到模型中所需要的参数。而在AdaBoost算法中，每一轮都需要更新样本的权值参数，故而在每一轮的迭代中需要加工损失函数极小化，然后据此得到每个样例的权重更新参数。这样在每轮的迭代过程中只需要将当前基函数在训练集上的损失函数最小，最终使得$f_m(x)$在训练样本上的指数损失最小。
通过求损失函数最小化确定参数与基函数：
$\left(\alpha_m,G_m\left(x\right)\right)=\arg\min_{\alpha,G}\sum_{i=1}^N{\exp\left[-y_i\left(f_{m-1}\left(x_i\right)+\alpha G\left(x_i\right)\right)\right]}$
注意，在此处假定$G_1{(x)},G_2{(x)},\cdots,G_{m-1}{(x)}$和$a_1,a_2,\cdots,a_{m-1}$已知，为常量，进而计算$G_m(x)$和$\alpha_m$。故上式进一步化简为：
$\left(\alpha_m,G_m\left(x\right)\right)=\arg\min_{\alpha,G}\sum_{i=1}^N{\bar{w}_{mi}\exp\left[-y_i\alpha G\left(x_i\right)\right]}$
其中：$\bar{w}_{mi}=\exp\left[-y_if_{m-1}\left(x_i\right)\right]$
因为$\bar{w}_{mi}$既不依赖$\alpha$也不依赖于$G(x)$，所以与最小化无关。但它依赖于$f_{m-1}(x)$，随着每一次迭代而发生改变。

---

现证使上式达到最小的$\alpha_m$和$G_m(x)$就是AdaBoost算法所得到的$\alpha_m$和$G_m(x)$。求解可分为两步:

1. Step 1 求$G_m(x)$
   首先，求$G_m^*(x)$。对任意的$\alpha>0$，使指数损失函数(上式)最小的$G(x)$由下式得到：
   $G_{m}^*\left(x\right)=\arg\min_G\sum_{i=1}^N{\bar{w}_{mi}I\left(y_i\ne G\left(x_i\right)\right)}$
   其中：$\bar{w}_{mi}=\exp\left[-y_if_{m-1}\left(x_i\right)\right]$
   此分类器$G_{m}^*$即为AdaBoost算法的基本分类器$G_m(x)$，因为它是使第$m$轮加权训练数据分类误差率最小的基本分类器。
2. Step 2 求$\alpha_m^*$
   $\begin{aligned} &\quad \sum_{i=1}^N{\bar{w}_{mi}\exp\left[-y_i\alpha G\left(x_i\right)\right]}\\ &=\sum_{y_i=G_m\left(x_i\right)}{\bar{w}_{mi}e^{-\alpha}}+\sum_{y_i\ne G_m\left(x_i\right)}{\bar{w}_{mi}e^\alpha}\\ &=e^\alpha\sum_{y_i\ne G_m\left(x_i\right)}^{}{\bar{w}_{mi}}-e^{-\alpha}\sum_{y_i\ne G_m\left(x_i\right)}{\bar{w}_{mi}}+e^{-\alpha}\sum_{y_i\ne G_m\left(x_i\right)}{\bar{w}_{mi}}+e^{-\alpha}\sum_{y_i=G_m\left(x_i\right)}{\bar{w}_{mi}}\\ &=\left(e^\alpha-e^{-\alpha}\right)\sum_{i=1}^N{\bar{w}_{mi}I\left(y_i\ne G\left(x_i\right)\right)}+e^{-\alpha}\sum_{i=1}^N{\bar{w}_{mi}} \end{aligned}$
   将已求得的$G_m(x)$代入上式，对$\alpha$求导并使导数为0，即得到使其损失函数最小的$\alpha$。设:
   $g\left(\alpha\right)=\left(e^\alpha-e^{-\alpha}\right)\sum_{i=1}^N{\bar{w}_{mi}I\left(y_i\ne G\left(x_i\right)\right)}+e^{-\alpha}\sum_{i=1}^N{\bar{w}_{mi}}$
   求$g(\alpha)$的极小值，令$g^{'}(\alpha)=0$则：
   $\frac{\partial g\left(\alpha\right)}{\partial \alpha}=\left(e^\alpha+e^{-\alpha}\right)\sum_{i=1}^N{\bar{w}_{mi}I\left(y_i\ne G\left(x_i\right)\right)}-e^{-\alpha}\sum_{i=1}^N{\bar{w}_{mi}}=0$
   移项得：
   $\left(e^\alpha+e^{-\alpha}\right)\sum_{i=1}^N{\bar{w}_{mi}I\left(y_i\ne G\left(x_i\right)\right)}=e^{-\alpha}\sum_{i=1}^N{\bar{w}_{mi}}$
   进一步化简可得：
   $\left(e^{2\alpha}+1\right)\sum_{i=1}^N{\bar{w}_{mi}I\left(y_i\ne G\left(x_i\right)\right)}=\sum_{i=1}^N{\bar{w}_{mi}}$
   两边除以右侧项可得：
   $\left(e^{2\alpha}+1\right)\frac{\sum_{i=1}^N{\bar{w}_{mi}I\left(y_i\ne G\left(x_i\right)\right)}}{\sum_{i=1}^N{\bar{w}_{mi}}}=1$
   其中，$e_m$对应AdaBoost算法中的分类误差率，即：
   $e_m=\frac{\sum_{i=1}^N{\bar{w}_{mi}I\left(y_i\ne G\left(x_i\right)\right)}}{\sum_{i=1}^N{\bar{w}_{mi}}}=\sum_{i=1}^N w_{mi}I(y_i\neq G_m(x_i))$
   可得：$e_m\left(e^{2\alpha}+1\right)=1$
   从而可得：使损失函数最小的$\alpha$，即：
   $\alpha_m^*=\frac{1}{2}\log\frac{1-e_m}{e_m}$
   这里的$\alpha_m^*$与AdaBoost算法中求得的$\alpha_m$完全一致。
   最后来看一下每一轮样本权值的更新。由
   $f_m\left(x\right)=f_{m-1}\left(x\right)+\alpha_mG_m\left(x\right)$
   并且$\bar{w}_{mi}=\exp\left[-y_if_{m-1}\left(x\right)\right]$可得：
   $\begin{aligned} \bar{w}_{m+1,i}&=\exp\left[-y_if_m\left(x\right)\right]=\exp\left[-y_i\left(f_{m-1}\left(x\right)+\alpha_mG_m\left(x\right)\right)\right]\\ &=\bar{w}_{mi}\exp\left[-y_i\alpha_mG_m\left(x\right)\right] \end{aligned}$

这与开篇中所提到的AdaBoost的算法流程中的权重系数$w_{m+1,i}$仅相差一个规范化因子$Z_m$，因而是等价的。
以上推导内容大部分都是来自 统计学习方法 李航著，由于AdaBoost的推导公式目前都遵循这一推导规范，避免不了很多内容重复，所以还请见谅。

参考文献：
Adaboost 算法的原理与推导
机器学习算法系列（6）：AdaBoost
集成学习之Adaboost算法原理小结
机器学习（二十五） ——adaboost算法与实现
机器学习-损失函数
机器学习–>期望风险、经验风险与结构风险之间的关系
Adaboost - 新的角度理解权值更新策略
机器学习 周志华著
统计学习方法 李航著
【深度学习】一文读懂机器学习常用损失函数