本文始發於個人公眾號：TechFlow，原創不易，求個關注
今天是機器學習專題的第25篇文章，我們一起來聊聊AdaBoost。
我們目前為止已經學過了好幾個模型，光決策樹的生成算法就有三種。但是我們每次進行分類的時候，每次都是採用一個模型進行訓練和預測。我們日常在做一個決策的時候，往往會諮詢好幾個人，綜合採納他們的意見。那麼有沒有可能把這個思路照搬到機器學習領域當中，創建多個模型來綜合得出結果呢？
這當然是可以的，這樣的思路就叫做集成方法（ensemble method）。
集成方法
集成方法本身並不是某種具體的方法或者是算法，只是一種訓練機器學習模型的思路。它的含義只有一點，就是訓練多個模型，然後將它們的結果匯聚在一起。
根據這個思路，業內又衍生出了三種特定的方法，分別是Bagging、Boosting和Stacking。
Bagging
Bagging是bootstrap aggregating的縮寫，我們從字面上很難理解它的含義。我們記住這個名字即可，在Bagging方法當中，我們會通過有放回隨機採樣的方式創建K個數據集。對於每一個數據集來說，可能有一些單個的樣本重複出現，也可能有一些樣本從沒有出現過，但整體而言，每個樣本出現的概率是相同的。
之後，我們用抽樣出來的K個數據集訓練K個模型，這裏的模型沒有做限制，我們可以使用任何機器學習方模型。K個模型自然會得到K個結果，那麼我們採取民主投票的方式對這K個模型進行聚合。
舉個例子說，假設K=25，在一個二分類問題當中。有10個模型預測結果是0，15個模型預測結果是1。那麼最終整個模型的預測結果就是1，相當於K個模型民主投票，每個模型投票權一樣。大名鼎鼎的隨機森林就是採取的這種方式。
Boosting
Boosting的思路和Bagging非常相似，它們對於樣本的採樣邏輯是一致的。不同的是，在Boosting當中，這K個模型並不是同時訓練的，而是串行訓練的。每一個模型在訓練的時候都會基於之前模型的結果，更加關注於被之前模型判斷錯誤的樣本。同樣，樣本也會有一個權值，錯誤判斷率越大的樣本擁有越大的權值。
並且每一個模型根據它能力的不同，會被賦予不同的權重，最後會對所有模型進行加權求和，而不是公平投票。由於這個機制，使得模型在訓練的時候的效率也有差異。因為Bagging所有模型之間是完全獨立的，我們是可以採取分佈式訓練的。而Boosting中每一個模型會依賴之前模型的效果，所以只能串行訓練。
Stacking
Stacking是Kaggle比賽當中經常使用的方法，它的思路也非常簡單。我們選擇K種不同的模型，然後通過交叉驗證的方式，在訓練集上進行訓練和預測。保證每個模型都對所有的訓練樣本產出一個預測結果。那麼對於每一條訓練樣本，我們都能得到K個結果。
之後，我們再創建一個第二層的模型，它的訓練特徵就是這K個結果。也就是說Stacking方法當中會用到多層模型的結構，最後一層模型的訓練特徵是上層模型預測的結果。由模型自己去訓練究竟哪一個模型的結果更值得採納，以及如何組合模型之間的特長。
我們今天介紹的AdaBoost顧名思義，是一個經典的Boosting算法。
模型思路
AdaBoost的核心思路是通過使用Boosting的方法，通過一些弱分類器構建出強分類器來。
強分類器我們都很好理解，就是性能很強的模型，那麼弱分類器應該怎麼理解呢？模型的強弱其實是相對於隨機結果來定義的，比隨機結果越好的模型，它的性能越強。從這點出發，弱分類器也就是只比隨機結果略強的分類器。我們的目的是通過設計樣本和模型的權重，使得可以做出最佳決策，將這些弱分類器的結果綜合出強分類器的效果來。
首先我們會給訓練樣本賦予一個權重，一開始的時候，每一條樣本的權重均相等。根據訓練樣本訓練出一個弱分類器並計算這個分類器的錯誤率。然後在同一個數據集上再次訓練弱分類器，在第二次的訓練當中，我們將會調整每個樣本的權重。其中正確的樣本權重會降低，錯誤的樣本權重會升高。
同樣每一個分類器也會分配到一個權重值，權重越高說明它的話語權越大。這些是根據模型的錯誤率來計算的。錯誤率定義為：
這裏的D表示數據集表示分類錯誤的集合，它也就等於錯誤分類的樣本數除以總樣本數。
有了錯誤率之後，我們可以根據下面這個公式得到。
得到了之後，我們利用它對樣本的權重進行更新，其中分類正確的權重更改為：
分類錯誤的樣本權重更改為：
這樣，我們所有的權重都更新完了，這也就完成了一輪迭代。AdaBoost會反覆進行迭代和調整權重，直到訓練錯誤率為0或者是弱分類器的數量達到閾值。
代碼實現
首先，我們來獲取數據，這裏我們選擇了sklearn數據集中的乳腺癌預測數據。和之前的例子一樣，我們可以直接import進來使用，非常方便：
import numpy as np
import pandas as pd
from sklearn.datasets import load_breast_cancer
breast = load_breast_cancer()
X, y = breast.data, breast.target
# reshape，將一維向量轉成二維
y = y.reshape((-1, 1))
接着，我們將數據拆分成訓練數據和測試數據，這個也是常規做法了，沒有難度：
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=23)
在AdaBoost模型當中，我們選擇的弱分類器是決策樹的樹樁。所謂的樹樁就是樹深為1的決策樹。樹深為1顯然不論我們怎麼選擇閾值，都不會得到特別好的結果，但是由於我們依然會選擇閾值和特徵，所以結果也不會太差，至少要比隨機選擇要好。所以這就保證了，我們可以得到一個比隨機選擇效果略好一些的弱分類器，並且它的實現非常簡單。
在我們實現模型之前，我們先來實現幾個輔助函數。
def loss_error(y_pred, y, weight):
return weight.T.dot((y_pred != y_train))
def stump_classify(X, idx, threshold, comparator):
if comparator == 'lt':
return X[:, idx] <= threshold
else:
return X[:, idx] > threshold
def get_thresholds(X, i):
min_val, max_val = X[:, i].min(), X[:, i].max()
return np.linspace(min_val, max_val, 10)
這三個函數應該都不難理解，第一個函數當中我們計算了模型的誤差。由於我們每一個樣本擁有一個自身的權重，所以我們對誤差進行加權求和。第二個函數是樹樁分類器的預測函數，邏輯非常簡單，根據閾值比較大小。這裡有兩種情況，有可能小於閾值的樣本是正例，也有可能大於閾值的樣本是正例，所以我們還需要第三個參數記錄這個信息。第三個函數是生成閾值的函數，由於我們並不需要樹樁的性能特別好，所以我們也沒有必要去遍歷閾值的所有取值，簡單地把特徵的範圍劃分成10段即可。
接下來是單個樹樁的生成函數，它等價於決策樹當中選擇特徵進行數據拆分的函數，邏輯大同小異，只需要稍作修改即可。
def build_stump(X, y, weight):
m, n = X.shape
ret_stump, ret_pred = None, []
best_error = float('inf')
# 枚舉特徵
for i in range(n):
# 枚舉閾值
for j in get_thresholds(X, i):
# 枚舉正例兩種情況
for c in ['lt', 'gt']:
# 預測並且求誤差
pred = stump_classify(X, i, j, c).reshape((-1, 1))
err = loss_error(pred, y, weight)
# 記錄下最好的樹樁
if err < best_error:
best_error, ret_pred = err, pred.copy()
ret_stump = {'idx': i, 'threshold': j, 'comparator': c}
return ret_stump, best_error, ret_pred
接下來要做的就是重複生成樹樁的操作，計算和，並且更新每一條樣本的權重。整個過程也沒有太多的難點，基本上就是照着實現公式：
def adaboost_train(X, y, num_stump):
stumps = []
m = X.shape[0]
# 樣本權重初始化，一開始全部相等
weight = np.ones((y_train.shape[0], 1)) / y_train.shape[0]
# 生成num_stump個樹樁
for i in range(num_stump):
best_stump, err, pred = build_stump(X, y, weight)
# 計算alpha
alpha = 0.5 * np.log((1.0 - err) / max(err, 1e-10))
best_stump['alpha'] = alpha
stumps.append(best_stump)
# 更新每一條樣本的權重
for j in range(m):
weight[j] = weight[j] * (np.exp(-alpha) if pred[j] == y[j] else np.exp(alpha))
weight = weight / weight.sum()
# 如果當前的準確率已經非常高，則退出
if err < 1e-8:
break
return stumps
樹樁生成結束之後，最後就是預測的部分了。整個預測過程依然非常簡單，就是一個加權求和的過程。這裏要注意一下，我們在訓練的時候為了突出錯誤預測的樣本，讓模型擁有更好的能力，維護了樣本的權重。然而在預測的時候，我們是不知道預測樣本的權重的，所以我們只需要對模型的結果進行加權即可。
def adaboost_classify(X, stumps):
m = X.shape[0]
pred = np.ones((m, 1))
alphs = 0.0
for i, stump in enumerate(stumps):
y_pred = stump_classify(X, stump['idx'], stump['threshold'], stump['comparator'])
# 根據alpha加權求和
pred = y_pred * stump['alpha']
alphs += stump['alpha']
pred /= alphs
# 根據0.5劃分0和1類別
return np.sign(pred).reshape((-1, 1))
到這裏，我們整個模型就實現完了，我們先來看下單個樹樁在訓練集上的表現：
可以看到準確率只有0.54，只是比隨機預測略好一點點而已。
然而當我們綜合了20個樹樁的結果之後，在訓練集上我們可以得到0.9的準確率。在預測集上，它的表現更好，準確率有接近0.95！
這是因為AdaBoost當中，每一個分類器都是弱分類器，它根本沒有過擬合的能力，畢竟在訓練集的表現都很差，這就保證了分類器學到的都是實在的泛化能力，在訓練集上適用，在測試集上很大概率也適用。這也是集成方法最大的優點之一。
總結
集成方法可以說是機器學習領域一個非常重要的飛躍，集成方法的出現，讓設計出一個強分類器這件事的難度大大降低，並且還保證了模型的效果。
因為在一些領域當中，設計一個強分類器可能非常困難，然而設計一個弱一些的分類器則簡單得多，再加上模型本身性能很好，不容易陷入過擬合。使得在深度學習模型流行之前，集成方法廣泛使用，幾乎所有機器學習領域的比賽的冠軍，都使用了集成學習。
集成學習當中具體的思想或許各有不同，但是核心的思路是一致的。我們理解了AdaBoost之後，再去學習其他的集成模型就要容易多了。
如果喜歡本文，可以的話，請點個關注，給我一點鼓勵，也方便獲取更多文章。
本文使用 mdnice 排版
本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理【其他文章推薦】
※網頁設計一頭霧水該從何著手呢? 台北網頁設計公司幫您輕鬆架站!
※網頁設計公司推薦不同的風格，搶佔消費者視覺第一線
※想知道購買電動車哪裡補助最多?台中電動車補助資訊懶人包彙整
※南投搬家公司費用,距離,噸數怎麼算?達人教你簡易估價知識!
※教你寫出一流的銷售文案?
※超省錢租車方案
※聚甘新
