什麼是機器學習中的正規化？

1. 引言

在機器學習領域中，相關模型可能會在訓練過程中變得過度擬合和欠擬合。為了防止這種情況的發生，我們在機器學習中使用正規化操作來適當地讓模型擬合在我們的測試集上。一般來說，正規化操作透過降低過度擬合和欠擬合的可能性來幫助大家獲得最佳模型。

在本文中，我們將了解什麼是正規化，正規化的類型。此外，我們將討論偏差、變異數、欠擬合和過度擬合等相關概念。

我們不再是廢話，直接開始吧！

2. 偏差與變異數

Bias與Variance是用來描述我們學習到的模型與真實模型之間差距的兩個面向

需要被改寫的是：二者的定義如下：

##Bias是用所有可能的訓練資料集訓練出的所有模型的輸出的平均值與真實模型的輸出值之間的差異。
• Variance是不同的訓練資料集訓練出的模型輸出值之間的差異。

。偏差降低了模型對單一資料點的敏感性，同時增加了資料的泛化性，降低了模型對孤立資料點的敏感度。由於所需的功能不太複雜，因此還可以減少訓練時間。高偏差表示假定目標函數較可靠，但有時會導致模型擬合不足

方差（Variance）在機器學習中是指模型對資料集中微小變化的敏感度而產生的錯誤。由於資料集中存在顯著變化，演算法會對訓練集中的雜訊和異常值進行建模。這種情況通常被稱為過度擬合。在對新資料集進行評估時，由於模型本質上學習了每個資料點，因此無法提供準確的預測

一個相對平衡的模型將具有低偏差和低方差，而高偏差和高方差將導致欠擬合和過度擬合。

3. 欠擬合

當模型無法正確地將訓練資料中的模式加以學習並推廣到新資料時，就會出現欠擬合現象。欠擬合模型在訓練資料上的表現不佳，會導致錯誤的預測結果。當出現高偏差與低方差時，就容易出現欠擬合

# #4. 過度擬合

當一個模型在訓練資料上表現得非常好，但在測試資料上表現不佳時，它被稱為過度擬合（新資料）。在這種情況下，機器學習模型因為擬合到訓練資料中的噪聲，這會對模型在測試資料上的表現產生負面影響。低偏差和高方差可能導致過度擬合。

#5. 正規化概念

#「正規化」描述了校準機器學習模型的方法，以減少調整後的損失函數並避免過度擬合或欠擬合。

#透過使用正則化技術，我們可以讓機器學習模型更加準確地擬合到特定的測試集上，從而有效降低測試集中的誤差

6. L1正則化

相對於領迴歸，L1正規化的實現方式主要是在損失函數中增加一個懲罰項，該項的懲罰值為所有係數的絕對值總和，具體如下：

在Lasso迴歸模型中，以類似於嶺迴歸的方式透過增加迴歸係數的絕對值這一懲罰項來實現。此外，L1正則化在提高線性迴歸模型的精確度方面有著良好的表現。同時，由於L1正則化對所有參數的懲罰力度都一樣，可以讓一部分權重變為零，因此產生稀疏模型，能夠去除某些特徵（權重為0則等效於去除）。

###7. L2正規化######L2正規化也是透過在損失函數中增加一項懲罰項來實現，懲罰項等於所有係數的平方和。如下圖所示：###############################

一般而言，當資料表現出多重共線性（自變數高度相關）時，它被認為是一種採用的方法。儘管多重共線性中的最小平方法估計值 （OLS） 是無偏的，但它們的巨大變異會導致觀測值與實際值相差很大。 L2透過在一定程度上降低了迴歸估計值的誤差。它通常使用收縮參數來解決多重共線性問題。 L2正則化減少了權重的固定比例，使權重平滑。

8. 總結

經過上述分析，對本文中相關正規化的知識進行總結如下：

L1正則化可以產生稀疏權值矩陣，即產生一個稀疏模型，可以用於特徵選擇；

L2正則化可以防止模型過擬合，在在某種程度上，L1也可以防止過度擬合，提升模型的泛化能力；

L1（拉格朗日）正則假設參數的先驗分佈是Laplace分佈，可以保證模型的稀疏性，也就是某些參數等於0；

L2（嶺迴歸）的假設是參數的先驗分佈是高斯分佈，這可以確保模型的穩定性，即參數的值不會過大或過小

在實際應用中，如果特徵是高維度稀疏的，就應該使用L1正則化；如果特徵是低維密集的，就應該使用L2正則化

以上是什麼是機器學習中的正規化？的詳細內容。更多資訊請關注PHP中文網其他相關文章！