指令解碼增強了指令調整語言模型，無需更新參數

KAIST AI 的研究人員推出了指令解碼 (ID)，這是一種無需參數更新即可增強指令調整 LM 的方法。

指令調整語言模型 (LM) 可以很好地泛化到零樣本設定中未見過的任務。然而，他們在訓練資料之外的任務上的表現往往受到限制。儘管建立在大型資料集上並擁有數十億個參數，但這些語言模型在上下文學習（ICL）方面表現出色，它們可以產生對幾個範例的回應，而無需重新訓練。然而，訓練資料集的範圍限制了它們在不熟悉的任務上的有效性。快速工程和輸出多樣化等技術有助於提高性能，但需要付出巨大的努力。最近的研究探討了將認知錨定效應應用於 LM，顯示強調初始提示可以增強特定任務的反應並提高對指令的保真度。

在這項工作中，KAIST AI 的研究人員介紹了指令解碼 (ID)，這是一種無需任何參數更新即可增強指令調整 LM 的方法。受噪音監督技術的啟發，ID 使用「噪音指令」（原始指令的變更版本）來建立預測下一個標記的比較方法。透過將模型的輸出引導到不同的方向，特別是使用「相反」指令，ID 可以提高跨任務的模型效能。實驗表明，透過 ID 增強的較小模型的準確性明顯優於較大模型。此方法提高了對指令的遵守程度並提高了整體響應質量，證明了其在各種模型和任務中的有效性。

指令調優的目標是微調預先訓練的語言模型，使其更好地遵循自然語言指令，從而提高對未見過的任務的泛化能力，尤其是在零樣本場景中。儘管模型通常嚴重依賴預先訓練的知識，但擴大訓練任務的多樣性和複雜性可以增強這種能力。先前的研究強調，語言模型對熟悉的指令很敏感，甚至處理誤導性的指令，並且可以透過對比技術來利用這種敏感性。文字產生中的對比與對比解碼一樣，會比較不同模型或輸入的輸出以提高效能。這項研究透過使用噪音指令來增強指令調整 LM 的泛化能力，從而擴展了這些想法。

指令解碼透過比較噪音指令產生的輸出來改善指令調整模型中的回應產生。它建立在錨定效應的基礎上，其中初始訊息影響隨後的判斷，並利用原始指令和更改指令產生的反應之間的差異。此方法使用噪音指令變體（例如截斷、打亂或隨機單字）來誤導模型，同時確保任務保真度。透過在解碼過程中比較原始指令和噪音指令的邏輯，指令解碼可以幫助模型糾正偏差並產生與預期指令更加一致的響應，從而改善其在未見過的任務上的性能。

實驗設定使用 SUPNATINST 和 UNNATINST 資料集，跨語法錯誤修正和文字蘊涵等任務評估 Tk-Instruct、Alpaca 和 T0 等模型。 Rouge-L、精確匹配 (EM)、標籤黏附性 (LA) 和標籤一致性 (LC) 指標評估效能。 ID 持續改善結果，特別是對於 Tk-XXL 等較大模型，增強 LA 和 LC。有趣的是，儘管基準效能下降，但嘈雜的指令透過 ID 提高了輸出品質。儘管特定任務的表現各不相同，但「相反」指令變體在不同任務中證明是穩健的。總體而言，ID 在模型大小和任務類型方面顯示出顯著的增益。

研究調查了指令調整語言模型中看不見的任務泛化的挑戰。所提出的 ID 方法利用「噪音」指令的錨定效應來抵消固有的模型偏差。透過將預測與變更後的指令產生的預測進行對比，ID 可以增強模型效能，特別是對於與原始輸入偏差最大的「相反」雜訊變體。實證結果顯示 ID 在多個任務中的有效性，並且預測多樣性顯著提高。該方法不需要額外的參數更新，使其成為改善語言模型指令追蹤的實用工具。

查看論文。這項研究的所有功勞都歸功於該計畫的研究人員。另外，不要忘記在 Twitter 上關注我們並加入我們的 Telegram 頻道和 LinkedIn 群組。如果您喜歡我們的工作，您一定會喜歡我們的時事通訊。

別忘了加入我們的 50k ML SubReddit

以上是指令解碼增強了指令調整語言模型，無需更新參數的詳細內容。更多資訊請關注PHP中文網其他相關文章！