解析零樣本學習(ZSL)的定義與意義

零樣本學習(ZSL)是一種機器學習範例，利用預先訓練的深度學習模型來推廣新類別的樣本。它的核心思想是將現有的訓練實例中的知識轉移到測試實例的分類任務中。具體而言，零樣本學習技術透過學習中間的語義層和屬性，然後在推理過程中應用這些知識來預測新的數據。這種方法允許機器學習模型在沒有先前見過的類別上進行分類，實現了對未知類別的識別能力。透過零樣本學習，模型可以從有限的訓練資料中獲得更廣泛的泛化能力，提高了在現實世界中面對新問題的適應性。

需要注意，零樣本學習中訓練和測試集是不相交的。

零樣本學習是遷移學習的一個子領域，主要應用於特徵和標籤空間完全不同的情況。與常見的同構遷移學習不同，零樣本學習不僅僅是微調預訓練模型，它需要從沒有任何樣本的情況下學習如何處理新的問題。零樣本學習的目標是透過利用已有知識和經驗，將這些知識遷移到新的領域中，以便解決新問題。這種異質遷移學習對於處理沒有標籤或很少標籤的情況非常有用，因為它可以透過利用現有的標籤訊息，來進行預測和分類。因此，零樣本學習具有很大的潛力，在許多現實世界的應用中發揮重要作用。

零樣本學習資料分類

可見類(Seen Classes)：用於訓練深度學習模型的資料類，例如已標記的訓練資料。

不可見類(Unseen Classes)：現有深度模型需要概括的資料類，例如未標記的訓練資料。

輔助資訊：由於沒有屬於不可見類別的標記實例可用，因此需要一些輔助資訊來解決零樣本學習問題。此類輔助資訊應包含所有不可見類別的資訊。

零樣本學習也依賴已標記的可見類別和不可見類別訓練集。可見類和不可見類都在稱為語義空間的高維向量空間中相關，其中來自可見類的知識可以轉移到不可見類。

零樣本學習的階段

零樣本學習涉及訓練和推理的兩個階段：

#訓練：獲得有關標記資料樣本集的知識。

推理：擴展先前獲得的知識，將提供的輔助資訊用於新的類別集。

零樣本學習方法

基於分類器的方法

現有的基於分類器的方法通常採用一對多的解決方案來訓練多類零樣本分類器。也就是說，對於每個看不見的類，訓練一個二進制的一對一分類器。根據建構分類器的方法，我們進一步將基於分類器的方法分為三類。

①對應方法

對應方法旨在透過每個類別的二元一對一分類器與其對應的類別原型之間的對應關係來建構不可見類別的分類器。每個類別在語意空間中只有一個對應的原型。因此，這個原型可以看作是這個類別的「表示」。同時，在特徵空間中，對於每一類，都有一個對應的二元一對一分類器，也可以看作是該類的「表徵」。對應方法旨在學習這兩種「表示」之間的對應函數。

②關係方法

方法旨在基於不可見類別的類別間和類別內關係來建構分類器或不可見類別。在特徵空間中，可以利用可用資料學習所看到的類別的二進位一對一分類器。同時，可以透過計算相應原型之間的關係來獲得可見類和不可見類之間的關係。

③組合方法

組合方法描述了透過組合用於構成類別的基本元素的分類器來為不可見類別建構分類器的思想。

在組合方法中，認為存在一個構成類別的「基本元素」清單。可見類別和不可見類別中的每個資料點都是這些基本元素的組合。體現在語意空間中，認為每個維度代表一個基本元素，每個類別原型表示對應類別的這些基本元素的組合。

類別原型的每個維度取1或0，表示類別是否有對應的元素。因此，這一類方法主要適用於語意空間。

基於實例的方法

基於實例的方法旨在首先獲得不可見類別的標記實例，然後使用這些實例來訓練零樣本分類器。根據這些實例的來源，現有的基於實例的方法可以分為三個子類：

①投影方法

##-投影方法的思想是透過將特徵空間實例和語義空間原型投影到共享空間中來獲得不可見類別的標記實例。

#

在屬於可見類別的特徵空間中有標記的訓練實例。同時，在語意空間中存在可見類和不可見類的原型。特徵和語意空間是實數空間，實例和原型是其中的向量。從這個角度來看，原型也可以被視為標籤的實例。因此，我們在特徵空間和語義空間中標記了實例。

②實例借用方法

這些方法透過從訓練實例中藉用來處理為不可見類別取得標記實例。實例借用方法是基於類別之間的相似性。有了這些相似類別的知識，就可以辨識出屬於未見類別的實例。

③合成方法

合成方法是透過使用不同的策略合成偽實例來獲得不可見類別的標記實例。為了合成偽實例，假定每個類別的實例都遵循某種分佈。首先，需要估計不可見類別的分佈參數。然後，合成不可見類別的實例。

零樣本學習的限制

與其他概念一樣，零樣本學習也有其限制。以下是在實務中應用零樣本學習面臨的一些最常見的挑戰。

1.偏差

在訓練階段，模型只能存取可見類別的資料和標籤。這會使模型將測試期間不可見類別的資料樣本預測為可見類別。如果在測試期間，模型會對來自可見和不可見類別的樣本進行評估，則偏差問題會變得更加突出。

2.領域轉移

零樣本學習模型的開發主要是為了在這些資料逐漸可用時將預訓練模型擴展到新類。因此，領域轉移問題在零樣本學習中很常見。當訓練集和測試集中資料的統計分佈明顯不同時，就會發生領域轉移。

3.中心問題

中心問題與最近鄰搜尋相關的維數災難有關。在零樣本學習中，中心問題的發生有兩個原因。

輸入和語意特徵都存在於高維度空間。當這樣一個高維向量被投影到一個低維空間時，變異數會減少，導致映射點被聚集為一個中心。

在零樣本學習中廣泛使用的嶺迴歸會引發中心問題。它會導致預測出現偏差，即無論如何查詢，大部分都只預測了幾個類別。

4.資訊損失

在對可見類別進行訓練時，模型只學習用於區分這些可見類別的重要屬性。而一些潛在資訊可能存在於可見類中，如果它們對決策過程沒有重大貢獻，則不會被學習到。但是，此資訊在不可見類的測試階段很重要。這就會導致資訊損失。

#

以上是解析零樣本學習(ZSL)的定義與意義的詳細內容。更多資訊請關注PHP中文網其他相關文章！