深度學習必須掌握的13種機率分佈

一.機率分佈概述

• #共軛意味著它有共軛分佈的關係。
• 在貝葉斯機率論中，如果後驗分佈p（θx）與先驗機率分佈p（θ）在同一機率分佈族中，則先驗和後驗稱為共軛分佈，先驗稱為似然函數的共軛先驗。共軛先驗維基百科在這裡（https://en.wikipedia.org/wiki/Conjugate_prior）。
• 多重分類表示隨機變異數大於 2。
• n 次表示我們也考慮了先驗機率 p（x）。
• 為了進一步了解機率，我建議閱讀 [pattern recognition and machine learning，Bishop 2006]。

二.分佈機率與特徵

1.均勻分佈（連續）

程式碼：https://github.com/graykode/distribution-is- all-you-need/blob/master/uniform.py

均勻分佈在[a，b] 上具有相同的機率值，是簡單機率分佈。

2.伯努利分佈（離散）

##程式碼：https://github.com/graykode/distribution-is-all-you- need/blob/master/bernoulli.py

• 先驗機率p（x）不考慮伯努利分佈。因此，如果我們對最大似然進行最佳化，那麼我們很容易被過度擬合。
• 利用二元交叉熵對二項分類進行分類。它的形式與伯努利分佈的負對數相同。圖片

3.二項分佈（離散）

程式碼：https://github.com/graykode/distribution-is-all-you-need/blob/master/ binomial.py  

• 參數為n 和p 的二項分佈是一系列n 個獨立實驗中成功次數的離散機率分佈。
• 二項式分佈是指透過指定要提前挑選的數量而考慮先驗機率的分佈。

4.多伯努利分佈，分類分佈（離散）

程式碼：https://github.com/graykode/distribution -is-all-you-need/blob/master/categorical.py

• 多伯努利稱為分類分佈。
• 交叉熵和採取負對數的多伯努利分佈具有相同的形式。

5.多項式分佈（離散）

#程式碼：https://github.com/graykode/distribution-is-all-you -need/blob/master/multinomial.py

多項式分佈與分類分佈的關係與伯努爾分佈與二項分佈的關係相同。

6.β分佈（連續）

• 6.β分佈（連續）
• 程式碼：https://github.com/graykode/distribution-is-all-you-need/ blob/master/beta.py
• β分佈與二項分佈和伯努利分佈共軛。

利用共軛，利用已知的先驗分佈可以更容易得到後驗分佈。

當β分佈滿足特殊情況（α=1，β=1）時，均勻分佈是相同的。

• 7.Dirichlet 分佈（連續）
• 程式碼：https://github.com/graykode/distribution-is-all-you -need/blob/master/dirichlet.py  

dirichlet 分佈與多項式分佈是共軛的。

如果 k=2，則為β分佈。

• 8.伽瑪分佈（連續）
• #程式碼：https://github.com/graykode/distribution-is-all- you-need/blob/master/gamma.py

若gamma（a，1）/gamma（a，1） gamma（b，1）與beta（a，b）相同，則gamma 分佈為β分佈。

指數分佈和卡方分佈是伽瑪分佈的特殊情況。

######9.指數分佈（連續）########程式碼：https://github.com/graykode/distribution-is-all-you -need/blob/master/exponential.py###

指數分佈是 α 為 1 時 γ 分佈的特殊情況。

10.高斯分佈（連續）

10.高斯分佈（連續）

#10.高斯分佈（連續）

##程式碼：https://github.com/graykode/distribution-is-all-you-need/ blob/master/gaussian.py

高斯分佈是一種非常常見的連續機率分佈。

11.常態分佈（連續）

• 11.常態分佈（連續）

家程式碼：https://github.com/graykode/distribution-is-all-you-need /blob/master/normal.py

常態分佈為標準高斯分佈，平均值為0，標準差為1。

12.卡方分佈（連續）

##程式碼：https://github.com/graykode/distribution-is-all-you-need /blob/master/chi-squared.py

k 自由度的卡方分佈是k 個獨立標準常態隨機變數的平方和的分佈。 ######卡方分佈是β 分佈的特例###################13.t 分佈（連續）###################13.t 分佈（連續）#########代碼：https:/ /github.com/graykode/distribution-is-all-you-need/blob/master/student-t.py######t 分佈是對稱的鐘形分佈，與常態分佈類似，但尾部較重，這意味著它更容易產生遠低於平均值的值。 ###############via：https://github.com/graykode/distribution-is-all-you-needa###

以上是深度學習必須掌握的13種機率分佈的詳細內容。更多資訊請關注PHP中文網其他相關文章！