首頁 > 文章 > 科技週邊 > GPT-4使用混合大模型？研究證明MoE+指令調優確實讓大模型效能超群

GPT-4使用混合大模型？研究證明MoE+指令調優確實讓大模型效能超群

王林轉載: 2023-07-17 16:57:251274瀏覽

自 GPT-4 問世以來，人們一直驚艷於它強大的湧現能力，包括出色的語言理解能力、生成能力、邏輯推理能力等等。這些能力讓 GPT-4 成為機器學習領域最前衛的模型之一。然而，OpenAI 至今未公開 GPT-4 的任何技術細節。

上個月，喬治・霍茲（George Hotz）在接受名為Latent Space 的AI 技術播客的採訪時提到了GPT-4，並稱GPT-4 其實是一個混合模型。具體來說，喬治・霍茲稱GPT-4 採用由8 個專家模型組成的整合系統，每個專家模型都有2,200 億個參數（比GPT-3 的1750 億參數量略多一些），而這些模型經過了針對不同數據和任務分佈的訓練。

Latent Space 的訪談內容。

這或許只是喬治・霍茲的一種推測，但這種模式確實有一定的合理性。最近，由來自Google、UC 柏克萊、MIT 等機構的研究者共同發表的一篇論文證實：混合專家模型（MoE）與指令調優的結合能夠讓大型語言模型（LLM）的表現大幅提升。

GPT-4使用混合大模型？研究證明MoE+指令調優確實讓大模型效能超群圖片

論文網址：https://arxiv.org/pdf/2305.14705.pdf

#稀疏混合專家模型是一種特殊的神經網路架構，可以在不增加推理成本的情況下，為大型語言模型（LLM）增加可學習的參數。指令調優（instruction tuning）是一種訓練 LLM 遵循指令的技術。研究發現 MoE 模型比密集模型更能從指令調優中獲益，因此提出將 MoE 和指令調優結合。

研究在三種實驗設定下進行了實證研究，包括

在沒有指令調優的情況下在單一下游任務進行直接微調；
指令調優後對下游任務進行in-context 少樣本或零樣本泛化；

GPT-4使用混合大模型？研究證明MoE+指令調優確實讓大模型效能超群指令調優後對單一下游任務進行進一步微調。

在第一種情況下，MoE 模型整體上不如具有相同運算能力的密集模型。然而，隨著指令調優的引入（第二和第三種情況），FLAN-MoE_32B（Fine-tuned LAnguage Net，簡寫為Flan，是一種經過指令調優的模型，Flan-MoE 即為指令調優MoE）在四個基準任務上效能超過了FLAN-PALM_62B，卻只用了三分之一的FLOPs。

GPT-4使用混合大模型？研究證明MoE+指令調優確實讓大模型效能超群如下圖所示，在使用指令調優前，MoE→FT 不如 T5→FT。指令調優後，Flan-MoE→FT 優於 Flan-T5→FT。 MoE 從指令調優中獲得的收益( 15.6) 大於密集模型( 10.2)：

圖片

看來GPT -4 採用混合模型還是有點根據的，MoE 確實能夠從指令調優中獲得更大的收益：

圖片

方法概述

研究者在FLAN-MOE （是一組經過指令微調的稀疏混合專家模型）模型中使用了稀疏激活MoE（Mixture-of-Experts）。此外，他們還用 MoE 層取代了其他 Transformer 層的前饋組件。

###每個 MoE 層可理解為一個「專家」，然後，使用 softmax 激活函數對這些專家進行建模，得到一個機率分佈。 ############儘管每個 MoE 層有很多參數，但專家是稀疏激活的。這意味著對於給定的輸入 token，只使用有限的專家子集就能完成任務，從而為模型提供了更大的容量。 ############對於具有 E 個專家的 MoE 層，這實際上提供了 O (E^2) 種不同的前饋網路組合，從而實現了更大的運算靈活性。 ################

由於 FLAN-MoE 是經過指令調優的模型，因而指令調優非常重要，該研究在 FLAN 集合資料集的基礎上對 FLAN-MOE 進行微調。此外，研究將每個 FLAN-MOE 的輸入序列長度調整為 2048，輸出長度調整為 512。

實驗與分析

平均而言，在不增加任何額外計算的情況下，Flan-MoE 在所有模型尺度上都優於密集的同類產品(Flan-T5)。

GPT-4使用混合大模型？研究證明MoE+指令調優確實讓大模型效能超群圖片

專家數。圖 4 顯示，隨著專家數量的增加，初始時，模型受益於更豐富的專門子網絡，每個子網絡能夠處理問題空間中的不同任務或方面。這種方式使得 MoE 在處理複雜任務時具有很強的適應性和效率，從而整體上改善性能。然而，隨著專家數量的不斷增加，模型效能增益開始減少，最終達到飽和點。

GPT-4使用混合大模型？研究證明MoE+指令調優確實讓大模型效能超群圖片

圖3 和表1 詳細研究了不同的路由決策如何影響指令調優效能：透過FLAN- Switch 和FLAN-GS 策略之間的比較可以得出，啟動更多的專家會在四個基準測試中提高效能。在這些基準測試中，MMLU-Direct 模型顯示出最顯著的改進，對於 BASE/LARGE 尺寸的模型，從 38.0% 增加到 39.9%。

值得注意的是，與等效容量的密集模型相比，指令調優顯著放大了MoE 模型在保留MMLU、BBH 和內部QA 和推理基準測試方面的性能。對於較大的 MoE 模型，這些優勢進一步放大。例如，指令調優使 ST_32B 的效能提升了 45.2%，而對於 FLAN-PALM_62B，這種改進相對較小，約為 6.6%。

GPT-4使用混合大模型？研究證明MoE+指令調優確實讓大模型效能超群