自監督學習與監督學習、無監督學習之間的聯繫與區別(自監督學習框架的分類)

自監督學習(SSL)是一種無需手動輸入資料標記的監督學習形式。它透過獨立分析資料、標記和分類資訊的模型來獲得結果，而無需任何人工幹預。這種方法可以減少人工標註的工作量，提高訓練效率，並且在大規模資料集上表現出色。 SSL是一種有前景的學習方法，可以在各種領域中應用，如電腦視覺和自然語言處理。

自監督學習是一種利用未標記資料來產生監督訊號的無監督學習方式。簡單來說，它透過產生高置信度的資料標籤來訓練模型，然後在下一次迭代中使用這些標籤。在每次迭代中，基於資料標籤的基本事實都會改變。這種方法可以有效地利用未標記資料來提高模型的效能。

自監督學習與監督學習、無監督學習的關係

#監督學習需要使用高品質手動標籤的資料訓練模型，並調整模型權重。

自監督學習使用資料和自動產生的標籤來訓練模型，一開始沒有真實標籤。

無監督學習在沒有可用標籤的資料集上工作，這種學習範式試圖在其訓練的任何階段，不使用標籤的情況下理解所提供的資料。

自監督學習是無監督學習的子集，兩者都只提供非結構化資料。但無監督學習致力於聚類、分組和降維，而自監督學習像其他監督模型一樣執行分類、分割和迴歸等任務。

自監督學習的框架類型

基於能量的模型(EBM)

基於能量的模型嘗試使用數學函數計算兩個給定輸入之間的相容性。當給定兩個輸入時，如果EBM產生低能量輸出，則表示輸入具有高相容性；高能量輸出表示高不相容性。

聯合嵌入架構

聯合嵌入架構是雙分支網絡，其中每個分支的結構都相同。向每個分支提供兩個輸入以計算它們單獨的嵌入向量。網路頭部有一個模組，它將兩個嵌入向量作為輸入併計算它們在潛在空間中的距離。

因此，當兩個輸入彼此相似時，計算的距離應該很小。可以輕鬆調整網路參數，以確保潛在空間中的輸入彼此接近。

對比學習

在對比學習型SSL中，透過將稱為「錨點」的輸入，如文字、圖像、視頻片段與正面和負面範例進行對比來訓練模型。正樣本是指與錨點屬於相同分佈的樣本，而負樣本是指與錨點屬於不同分佈的樣本。

非對比自監督學習(NC-SSL)

#非對比自監督學習(NC-SSL)是一種學習範式，其中僅使用正樣本對來訓練模型，這與同時使用正樣本對和負樣本對的對比學習不同。然而，NC-SSL已經證明能夠使用額外的預測器和停止梯度操作來學習僅具有正對的非平凡表示。

以上是自監督學習與監督學習、無監督學習之間的聯繫與區別(自監督學習框架的分類)的詳細內容。更多資訊請關注PHP中文網其他相關文章！