RoSA: 一種高效能微調大模型參數的新方法

隨著語言模型擴展到前所未有的規模，對下游任務進行全面微調變得十分昂貴。為了解決這個問題，研究人員開始注意並採用PEFT方法。 PEFT方法的主要想法是將微調的範圍限制在一小部分參數上，以降低計算成本，同時仍能實現自然語言理解任務的最先進性能。透過這種方式，研究人員能夠在保持高效能的同時，節省運算資源，為自然語言處理領域帶來新的研究熱點。

RoSA是一種新的PEFT技術，透過在一組基準測試的實驗中，發現在使用相同參數預算的情況下， RoSA表現出優於先前的低秩自適應（LoRA）和純稀疏微調方法。

本文將深入探討RoSA原理、方法和結果，並解釋其表現如何標誌著有意義的進步。對於希望有效微調大型語言模型的人，RoSA提供了一種新的優於以往方案的解決方案。

對參數高效率微調的需求

NLP已經被基於transformer的語言模型如GPT- 4徹底改變。這些模型透過對大量文本語料庫進行預先訓練，學習到強大的語言表徵。接著，它們透過一個簡單的過程將這些表徵轉移到下游的語言任務。

隨著模型規模從數十億個參數成長到兆個參數，微調帶來了巨大的運算負擔。例如，對於GPT-4這樣一個擁有1.76兆參數的模型，微調可能需要花費數百萬美元。這使得在實際應用中部署變得非常不切實際。

PEFT方法透過限制微調的參數範圍來提高效率和準確性。最近有多種PEFT技術出現，權衡了效率和準確性的關係。

LoRA

一個突出的PEFT方法是低秩適應(LoRA)。 LoRA是由Meta和麻省理工學院的研究人員於2021年推出的。該方法的動機是他們觀察到transformer在其頭部矩陣中表現出低秩結構。 LoRA的提出旨在利用這種低秩結構，以降低計算複雜度並提高模型的效率和速度。

LoRA只對前k個奇異向量進行微調，其他參數保持不變。這樣只需調優O(k)個額外參數，而不是O(n)個。

透過利用這種低秩結構，LoRA可以捕捉下游任務泛化所需的有意義的訊號，並將微調限制在這些頂級奇異向量上，使最佳化和推理更加有效。

實驗表明，LoRA在GLUE基準測試中可以匹配完全微調的性能，同時使用的參數減少了100倍以上。但隨著模型規模的不斷擴大，透過LoRA獲得強大的性能需要增加rank k，與完全微調相比減少了計算節省。

在RoSA之前，LoRA代表了PEFT方法中最先進的技術，只是使用不同的矩陣分解或添加少量額外的微調參數等技術進行了適度的改進。

Robust Adaptation (RoSA)

#Robust Adaptation(RoSA)引進了一種新的參數高效率微調方法。 RoSA的靈感來自於穩健的主成分分析(robust  PCA)，而不是只依賴低秩結構。

在傳統的主成分分析中，資料矩陣X被分解為X≈L S，其中L是近似主成分的低秩矩陣，S是一個捕獲殘差的稀疏矩陣。 robust PCA更進一步，將X分解為乾淨的低秩L和「污染/損壞」的稀疏S。

RoSA從中汲取靈感，將語言模型的微調分解為:

一個類似LoRA的低秩自適應(L)矩陣，經過微調以近似於主導任務相關訊號

一個高度稀疏的微調(S)矩陣，包含非常少量的大的、選擇性微調的參數，這些參數編碼L錯過的殘差訊號。

明確地建模殘差稀疏分量可以使RoSA比單獨的LoRA達到更高的精確度。

RoSA透過對模型的頭部矩陣進行低秩分解來建構L。這將編碼對下游任務有用的底層語義表示。然後RoSA選擇性地將每層最重要的前m個參數微調為S，而所有其他參數保持不變。這個步驟會捕捉不適合低秩擬合的殘差訊號。

微調參數的數量m比LoRA單獨所需的rank k小一個數量級。因此結合L中的低秩頭矩陣，RoSA維持了極高的參數效率。

RoSA也採用了一些其他簡單但有效果的最佳化:

#

殘差稀疏連接:在每個transformer區塊的輸出經過層歸一化和前饋子層之前，直接向其添加S個殘差。這可以模擬L錯過的訊號。

獨立稀疏掩碼:S中選擇的用於微調的指標是為每個transformer層獨立產生的。

共享低秩結構:在L的所有層之間共享相同的低秩基底U,V矩陣，就像在LoRA中一樣。這將捕獲一致子空間中的語義概念。

這些架構選擇為RoSA建模提供了類似於完全微調的靈活性，同時保持了最佳化和推理的參數效率。利用這種結合穩健低秩自適應和高度稀疏殘差的PEFT方法，RoSA實現了精確度效率折衷的新技術。

實驗與結果

研究人員在12個NLU資料集的綜合基準上對RoSA進行了評估，這些資料集涵蓋了文本檢測、情緒分析、自然語言推理和魯棒性測驗等任務。他們使用基於人工智慧助理LLM的RoSA進行了實驗，使用了120億個參數模型。

在每個任務上，在使用相同的參數時，RoSA的表現都明顯優於LoRA。兩種方法的總參數都差不多為整個模型的0.3%左右。這意味著LoRA的k = 16, RoSA的m =5120這兩種情況下都有大約450萬個微調參數。

RoSA也符合或超過了純稀疏微調基準的效能。

在評估對抗範例的穩健性的ANLI基準上，RoSA的得分為55.6，而LoRA的得分為52.7。這表明了泛化和校準的改進。

對於情緒分析任務SST-2和IMDB, RoSA的準確率達到91.2%和96.9%，而LoRA的準確率為90.1%和95.3%。

在WIC(一項具有挑戰性的詞義消歧測驗)上，RoSA的F1得分為93.5，而LoRA的F1得分為91.7。

在所有12個資料集中，RoSA在匹配的參數預算下普遍表現出比LoRA更好的效能。

值得注意的是，RoSA能夠在不需要任何特定於任務的調優或專門化的情況下實現這些增益。這使得RoSA適合作為通用的PEFT解決方案使用。

總結

隨著語言模型規模的持續快速成長，減少對其微調的運算需求是一個迫切需要解決的問題。像LoRA這樣的參數高效能自適應訓練技術已經顯示出初步的成功，但面臨低秩近似的內在限制。

RoSA將魯棒低秩分解和殘差高度稀疏微調有機地結合在一起，提供了一個令人信服的新解決方案。透過考慮透過選擇性稀疏殘差來逃避低秩擬合的訊號，它大大提高了PEFT的效能。經驗評估表明，在不同的NLU任務集上，LoRA和不受控制的稀疏性基線有了明顯的改進。

RoSA在概念上簡單但高效能，能進一步推進參數效率、適應性表徵和持續學習的交叉研究，以擴大語言智慧。

以上是RoSA: 一種高效能微調大模型參數的新方法的詳細內容。更多資訊請關注PHP中文網其他相關文章！