少樣本學習綜述：技術、演算法與模型

機器學習最近取得了很大的進展，但仍然有一個主要的挑戰：需要大量的標記資料來訓練模型。

有時這種數據在現實世界中是無法取得的。以醫療保健為例，我們可能沒有足夠的x光掃描來檢查一種新的疾病。但是透過少樣本學習可以讓模型只從幾個例子中學習到知識!

所以少樣本學習(FSL)是機器學習的一個子領域，它解決了只用少量標記示例學習新任務的問題。 FSL的全部意義在於讓機器學習模型能夠用一點點數據學習新東西，這在收集一堆標記數據太昂貴、花費太長時間或不實用的情況下非常有用。

少樣本學習方法

支援樣本/查詢集:使用少量圖片對查詢集進行分類。

少樣本學習中有三種主要方法需要了解：元學習、資料級和參數級。

• 元學習：元學習包括訓練一個模型，學習如何有效地學習新任務;
• 資料級：資料級方法著重於增加可用數據，以提高模型的泛化性能;
• 參數級：參數級方法旨在學習更健壯的特徵表示，以便更好地泛化到新任務中

元學習

#元學習(學習如何學習)。這種方法訓練一個模型學習如何有效地學習新任務。這個模型是關於識別不同任務之間的共同點，並使用這些知識透過幾個例子快速學習新事物。

元學習演算法通常在一組相關任務上訓練模型，並學習從可用資料中提取與任務無關的特徵和特定於任務的特徵。任務無關的特徵捕獲關於資料的一般知識，而任務特定的特徵捕獲當前任務的細節。在訓練過程中，演算法透過僅使用每個新任務的幾個標記範例更新模型參數來學習適應新任務。這使得模型可以用很少的範例推廣到新的任務。

資料級方法

資料級方法著重於擴充現有數據，這樣可以幫助模型更好地理解資料的底層結構，從而提高模型的泛化效能。

主要想法是透過對現有範例應用各種轉換來創建新的範例，這可以幫助模型更好地理解資料的底層結構。

有兩種類型的資料級方法：

• 資料增強：資料增強功能包括透過對現有資料應用不同的轉換來建立新的範例；
• #資料生成：資料生成涉及使用生成對抗網路(GANs)從頭產生新的範例。

資料級的方法：

參數層級方法目標是學習更健壯的特徵表示，可以更好地泛化到新的任務。

有兩種參數級方法：

• 特徵提取：特徵提取涉及從資料中學習一組特徵，可以用於新任務;
• 微調：微調包括透過學習最優參數使預先訓練的模型適應新任務。

例如，假設你有一個預先訓練好的模型，它可以辨識影像中的不同形狀和顏色。透過在新資料集上微調模型，只需幾個範例，它就可以快速學會識別新的類別。

元學習演算法

元學習是FSL的一種流行方法，它涉及在各種相關任務上訓練模型，以便它能夠學習如何有效地學習新任務。此演算法學習從可用資料中提取任務無關和任務特定的特徵，快速適應新的任務。

元學習演算法可以大致分為兩種類型:基於度量的和基於梯度的。

基於度量的元學習

基於度量的元學習演算法學習一種特殊的方法來比較每個新任務的不同範例。他們透過將輸入範例映射到一個特殊的特徵空間來實現這一點，在這個空間中，相似的範例放在一起，而不同的範例則分開很遠。模型可以使用這個距離測量將新的範例分類到正確的類別中。

一種流行的基於度量的演算法是Siamese Network，它學習如何透過使用兩個相同的子網路來測量兩個輸入範例之間的距離。這些子網路為每個輸入範例產生特徵表示，然後使用距離度量(如歐幾里德距離或餘弦相似度)來比較它們的輸出。

基於梯度元的學習

基於梯度的元學習學習如何更新他們的參數，以便他們能夠快速適應新的挑戰。

這些演算法訓練模型學習一組初始參數，只需幾個例子就能快速適應新任務。 MAML (model - agnostic元學習)是一種流行的基於梯度的元學習演算法，它學習如何優化模型的參數以快速適應新任務。它透過一系列相關任務來訓練模型，並使用每個任務中的一些範例來更新模型的參數。一旦模型學習到這些參數，它就可以使用當前任務中的其他範例對它們進行微調，提高其效能。

基於少樣本學習的圖像分類演算法

FSL有幾種演算法，包括：

• 與模型無關的元學習(Model-Agnostic Meta-Learning )：MAML是一種元學習演算法，它為模型學習了一個良好的初始化，然後可以用少量的例子來適應新的任務。
• 匹配網路 （Matching Networks）：匹配網路透過計算相似度來學習將新範例與標記的範例配對。
• 原型網路（Prototypical Networks）：原型網路學習每個類別的原型表示，根據它們與原型的相似性對新範例進行分類。
• 關係網絡（Relation Networks）：關係網絡學會比較成對的例子，對新的例子做出預測。

與模型無關的元學習

MAML的關鍵思想是學習模型參數的初始化，這些參數可以透過一些範例適應新任務。在訓練過程中，MAML接受一組相關任務，並學習僅使用每個任務的幾個標記範例來更新模型參數。這個過程使模型能夠透過學習模型參數的良好初始化來泛化到新的任務，這些參數可以快速適應新的任務。

匹配網路

匹配網路是另一個常用的少樣本影像分類演算法。它不是學習固定的度量或參數，而是基於當前支援集學習動態度量。這意味著用於比較查詢圖像和支援集的度量因每個查詢圖像而異。

匹配網路演算法使用一種注意力機制來計算每個查詢圖像的支援集特徵的加權和。權重是根據查詢圖像和每個支援集圖像之間的相似性來學習的。然後將支援集特徵的加權和與查詢影像特徵連接起來，得到的向量透過幾個全連接的層來產生最終的分類。

原型網路

原型網路是一種簡單有效的少樣本影像分類演算法。它學習圖像的表示，並使用支援範例的嵌入特徵的平均值計算每個類別的原型。在測試過程中，計算查詢影像與每個類別原型之間的距離，並將原型最近的類別分配給查詢。

關係網路

關係網路學習比較支援集中的範例對，並使用此資訊對查詢範例進行分類。關係網絡包括兩個子網絡:特徵嵌入網絡和關係網絡。特徵嵌入網路將支援集中的每個範例和查詢範例對應到一個特徵空間。然後關係網絡計算查詢範例和每個支援集範例之間的關係分數。最後使用這些關係分數對查詢範例進行分類。

少樣本學習的應用

少樣本學習在不同的領域有許多應用，包括：

在各種電腦視覺任務中，包括影像分類、目標偵測和分割。少樣本學習可以辨識影像中不存在於訓練資料中的新物件。

在自然語言處理任務中，如文字分類、情緒分析和語言建模，少樣本學習有助於提高語言模型在低資源語言上的表現。

在機器人技術中使用少數學習，使機器人能夠快速學習新任務，適應新環境。例如，機器人只需要幾個例子就可以學會撿起新物體。

少樣本在醫療診斷領域可以在數據有限的情況下識別罕見疾病和異常，可以幫助個人化治療和預測病人的結果。

總結

少樣本學習是一種強大的技術，它使模型能夠從少數例子中學習。它在各個領域都有大量的應用，並有可能徹底改變機器學習。隨著不斷的研究和開發，少樣本學習可以為更有效率和有效的機器學習系統鋪平道路。

以上是少樣本學習綜述：技術、演算法與模型的詳細內容。更多資訊請關注PHP中文網其他相關文章！