梯度提升演算法決策過程的逐步視覺化

梯度提升演算法是最常用的整合機器學習技術之一，該模型使用弱決策樹序列來建構強學習器。這也是XGBoost和LightGBM模型的理論基礎，所以在這篇文章中，我們將從頭開始建立一個梯度增強模型並將其視覺化。

梯度提升演算法介紹

梯度提升演算法（Gradient Boosting）是一種集成學習演算法，它透過建立多個弱分類器，然後將它們組合成一個強分類器來提高模型的預測準確率。

梯度提升演算法的原理可以分為以下幾個步驟：

1. 初始化模型：一般來說，我們可以使用一個簡單的模型（比如說決策樹）作為初始的分類器。
2. 計算損失函數的負梯度：計算出每個樣本點在目前模型下的損失函數的負梯度。這相當於是讓新的分類器去擬合目前模型下的誤差。
3. 訓練新的分類器：用這些負梯度作為目標變量，訓練一個新的弱分類器。這個弱分類器可以是任意的分類器，比如說決策樹、線性模型等。
4. 更新模型：將新的分類器加入原來的模型中，可以用加權平均或其他方法將它們組合起來。
5. 重複迭代：重複上述步驟，直到達到預設的迭代次數或達到預設的準確率。

由於梯度提升演算法是一種串列演算法，所以它的訓練速度可能會比較慢，我們以一個實際的例子來介紹：

假設我們有一個特徵集Xi和值Yi，要計算y的最佳估計值

#我們從y的平均值開始

#每一步我們都想讓F_m(x)更接近y|x。

在每一步中，我們都想要F_m(x)一個更好的y給定x的近似值。

首先，我們定義一個損失函數

然後，我們向損失函數相對於學習者Fm下降最快的方向前進:

因為我們不能為每個x計算y，所以不知道這個梯度的確切值，但是對於訓練資料中的每一個x_i，梯度完全等於步驟m的殘差:r_i!

所以我們可以用弱迴歸樹h_m來近似梯度函數g_m，對殘差進行訓練:

然後，我們更新學習器

這就是梯度提升，我們不是使用損失函數相對於當前學習器的真實梯度g_m來更新目前學習器F_{m}，而是使用弱回歸樹h_m來更新它。

也就是重複下面的步驟

1、計算殘差:

2、將迴歸樹h_m擬合到訓練樣本及其殘差(x_i, r_i)上

3、用步長alpha更新模型

##看著很複雜對吧，下面我們可視化一下這個過程就會變得非常清晰了

決策過程可視化

這裡我們使用sklearn的moons 資料集，因為這是一個經典的非線性分類資料

import numpy as np
 import sklearn.datasets as ds
 import pandas as pd
 import matplotlib.pyplot as plt
 import matplotlib as mpl
 
 from sklearn import tree
 from itertools import product,islice
 import seaborn as snsmoonDS = ds.make_moons(200, noise = 0.15, random_state=16)
 moon = moonDS[0]
 color = -1*(moonDS[1]*2-1)
 
 df =pd.DataFrame(moon, columns = ['x','y'])
 df['z'] = color
 df['f0'] =df.y.mean()
 df['r0'] = df['z'] - df['f0']
 df.head(10)

讓我們視覺化資料：

下图可以看到，该数据集是可以明显的区分出分类的边界的，但是因为他是非线性的，所以使用线性算法进行分类时会遇到很大的困难。

那么我们先编写一个简单的梯度增强模型:

def makeiteration(i:int):
"""Takes the dataframe ith f_i and r_i and approximated r_i from the features, then computes f_i+1 and r_i+1"""
clf = tree.DecisionTreeRegressor(max_depth=1)
clf.fit(X=df[['x','y']].values, y = df[f'r{i-1}'])
df[f'r{i-1}hat'] = clf.predict(df[['x','y']].values)
 
eta = 0.9
df[f'f{i}'] = df[f'f{i-1}'] + eta*df[f'r{i-1}hat']
df[f'r{i}'] = df['z'] - df[f'f{i}']
rmse = (df[f'r{i}']**2).sum()
clfs.append(clf)
rmses.append(rmse)

上面代码执行3个简单步骤:

将决策树与残差进行拟合:

clf.fit(X=df[['x','y']].values, y = df[f'r{i-1}'])
 df[f'r{i-1}hat'] = clf.predict(df[['x','y']].values)

然后，我们将这个近似的梯度与之前的学习器相加:

df[f'f{i}'] = df[f'f{i-1}'] + eta*df[f'r{i-1}hat']

最后重新计算残差:

df[f'r{i}'] = df['z'] - df[f'f{i}']

步骤就是这样简单，下面我们来一步一步执行这个过程。

第1次决策

Tree Split for 0 and level 1.563690960407257

第2次决策

Tree Split for 1 and level 0.5143677890300751

第3次决策

Tree Split for 0 and level -0.6523728966712952

第4次决策

Tree Split for 0 and level 0.3370491564273834

第5次决策

Tree Split for 0 and level 0.3370491564273834

第6次决策

Tree Split for 1 and level 0.022058885544538498

第7次决策

Tree Split for 0 and level -0.3030575215816498

第8次决策

Tree Split for 0 and level 0.6119407713413239

第9次决策

可以看到通过9次的计算，基本上已经把上面的分类进行了区分

我们这里的学习器都是非常简单的决策树，只沿着一个特征分裂!但整体模型在每次决策后边的越来越复杂，并且整体误差逐渐减小。

plt.plot(rmses)

这也就是上图中我们看到的能够正确区分出了大部分的分类

如果你感兴趣可以使用下面代码自行实验：

​​https://www.php.cn/link/bfc89c3ee67d881255f8b097c4ed2d67​​

以上是梯度提升演算法決策過程的逐步視覺化的詳細內容。更多資訊請關注PHP中文網其他相關文章！