成本不到100美元！ UC柏克萊再開源類ChatGPT模型「無尾熊」：資料量大沒有用，高品質才是王道

自從Meta開源LLaMA之後，學術界內各種類ChatGPT模型如雨後春筍般開始發布。 先是史丹佛提出了70億參數Alpaca，緊接著是UC伯克利聯手CMU、史丹佛、UCSD和MBZUAI發布的130億參數Vicuna，在超過90%的情況下實現了與ChatGPT和Bard相匹敵的能力。最近柏克萊又發布了一個新模型「無尾熊Koala」#，相較於先前使用OpenAI的GPT資料進行指令微調，Koala的不同之處在於使用網路取得的高品質資料

進行訓練。

#部落格連結：https://bair.berkeley.edu/blog/2023 /04/03/koala/資料預處理程式碼：https://github.com/young-geng/koala_data_pipeline評估測試集：https://github.com/arnav-gudibande/koala-test-set模型下載：https ://drive.google.com/drive/folders/10f7wrlAFoPIy-TECHsx9DKIvbQYunCfl

#########在發布的部落格文章中，研究人員描述了模型的資料集管理和訓練過程，同時也展示了用戶研究的結果，將模型與ChatGPT和史丹佛大學的Alpaca模型進行了比較。研究結果表明，Koala可以有效地回答各種用戶的查詢，產生的回答往往比Alpaca更受歡迎，至少在一半的情況下與ChatGPT的效果不相上下。研究人員希望這次實驗的結果可以進一步推動圍繞大型閉源模型相對於小型公共模型的相對性能的討論，特別是結果表明，對於那些能在本地運行的小模型，如果認真地收集訓練數據，也可以取得大模型的效能。 ######################################################################

這可能意味著，社群應該投入更多的精力來管理高品質的資料集，可能比簡單地增加現有系統的規模更有幫助於建立更安全、更實際、更有能力的模式。需要強調的是，Koala只是一個研究原型，雖然研究人員希望模型的發布可以提供一個有價值的社區資源，但它仍然在內容安全性和可靠性方面存在重大缺陷，不應該在研究之外的領域使用。

Koala系統概覽

大型語言模型發布後，虛擬助理和聊天機器人的能力也越來越強，不僅能閒聊，還能寫程式碼、寫詩、故事創作，堪稱無所不能。不過能力最強的那一批語言模型通常都需要大量的運算資源對模型進行訓練，而且還需要大規模的專用資料集，一般人基本上沒辦法自己訓練模型。換句話說，語言模型在未來將由少數有實力的組織控制，使用者和研究人員採用付費的方式與模型進行交互，無法直接存取模型內部來修改或改進。另一方面，最近幾個月也有一些組織發布了功能比較強大的免費或部分開源模型，例如Meta的LLaMA，這些模型的能力沒辦法和那些封閉模型（比如ChatGPT）相比，但它們的能力在社區的幫助下一直在迅速提高。

壓力來到開源社群這邊：未來是否可以看到越來越多圍繞少數閉源程式碼模型的整合？還是更多使用更小模型架構的開放模型？相同架構模型的效能是否能接近規模更大的閉源模型？

雖然開放模型不太可能與閉源模型的規模相匹配，但使用精心挑選的訓練資料或許可以使它們接近沒有微調過的ChatGPT的表現。

事實上，在此之前史丹佛大學發布的Alpaca模型，根據OpenAI的GPT模型對LLaMA的數據進行微調的實驗結果已經表明，正確的數據可以顯著改善規模更小型的開源模型，這也是伯克利的研究人員開發和發布Koala模型的初衷，為這個討論結果再提供了一個實驗證明。

Koala 對從

網路上取得的免費互動資料進行了微調，並且特別關注包括與ChatGPT 等高效能閉源模型互動的資料

。

研究人員根據從網路和公共資料集中提取的對話資料對LLaMA 基礎模型進行微調，其中包括對來自其他大型語言模型的使用者查詢的高品質回應，以及問答資料集和人類回饋資料集，由此訓練得到的Koala-13B模型展現了與現有模型相差無幾的表現。

研究結果表明，從高品質的資料集中學習可以減輕小模型的一些缺點，甚至可能在未來與大型閉源模型相匹敵的能力，也就意味著，社群應該投入更多的精力來管理高品質的資料集，相比簡單地增加現有模型的尺寸規模來說，更有助於建立更安全、更實際、更有能力的模型。

透過鼓勵研究人員參與Koala模型的系統演示，研究人員希望發現一些意料之外的特徵或缺陷，有助於在未來評估模型。

資料集和訓練

建立對話模型的一個主要障礙是訓練資料的管理，包括ChatGPT、Bard、Bing Chat和Claude在內的所有聊天模型都使用了大量人工標註建構的專用資料集。

為了建立Koala，研究人員透過從網路和公共資料集中收集對話資料來組織訓練集，資料集中的一部分包括使用者在線上發布的大型語言模型（如ChatGPT）的對話。

研究人員並沒有追求盡可能多的抓取網路資料來最大化資料量，而是專注於收集一個小型的高品質資料集，使用公共資料集來回答問題、人類回饋(評分為正面和負面)以及與現有語言模型的對話。

###ChatGPT蒸餾資料#########與ChatGPT的公共使用者分享對話（ShareGPT）：使用公共API收集了大約六萬個使用者在ShareGPT上分享的對話。 ######

網址連結：https://sharegpt.com/

為了保證資料質量，研究人員刪除了重複的user query，並刪除了所有非英語會話，最後留下了大約三萬個樣本。

人類ChatGPT比較語料（HC3）：使用來自HC3英語資料集的人類和ChatGPT 回覆結果，其中包含約六萬個人類答案和約2.4萬個問題的2.7萬個ChatGPT 答案，總共得到約8.7萬個問答樣本。

開源資料

Open Instruction Generalist（OIG）：使用從LAION 策劃的開放指令通用資料集中手動選擇的元件子集，包括小學數學指導、詩歌到歌曲以及情節-劇本-書籍-對話資料集，總共得到大約3萬個樣本。

Stanford Alpaca：包含用於訓練史丹佛Alpaca模型的資料集。

該資料集包含大約5.2萬個樣本，由 OpenAI 的 text-davinci-003按照self-instruct過程產生的。

值得注意的是，HC3、 OIG 和 Alpaca 資料集是單輪問答，而 ShareGPT 資料集是多輪對話。

Anthropic HH：包含人類對模型輸出的有害性和有益性的評分。

該資料集包含約16萬個人類評估的範例，其中每個範例由一對來自聊天機器人的回應組成，其中一個是人類偏好的，該資料集為模型提供了功能和額外的安全保護。

OpenAI WebGPT：該資料集包括總共約2萬個的對比，其中每個範例包括一個問題、一對模型答案和元數據，答案由人類根據自己的偏好進行評分。

OpenAI Summarization：包含約9.3萬個範例，包含來自人類的關於模型生成摘要的回饋，人類評估者從兩個選項中選擇了更好的摘要結果。

當使用開源資料集時，有些資料集可能會提供兩個回复，對應於評定為好或壞(AnthropicHH、WebGPT、OpenAI摘要)。

先前的研究結果證明了條件語言模型對人類偏好標記（有用/無用）的有效性以提高性能，研究人員根據偏好標籤將模型置於正標記或負標記上，如果沒有人類回饋的話，對資料集使用正標記。在評估階段，編寫的prompt中包含正標記。

Koala 基於開源框架EasyLM（預訓練、微調、服務和評估各種大型語言模型），使用JAX/Flax實現；訓練設備為一台Nvidia DGX 伺服器與8個A100 GPU，需6小時訓練完成2個epochs。

在公有雲運算平台上，預期訓練成本不超過100美元。

初步評估

在實驗中，研究人員評估了兩個模型：Koala-Distill，只使用蒸餾數據；Koala-All使用所有的數據，包括蒸餾和開源資料。

實驗的目的是比較模型的性能，並評估蒸餾和開源資料集對最終模型性能的影響；對Koala模型進行人類評估，並將Koala-All與Koala- Distill, Alpaca和ChatGPT進行比較。

實驗的測試集由史丹佛的Alpaca Test Set和Koala Test Set組成，包括180個測試query

#

Alpaca測試集由從self-isntruct資料集中抽樣的user prompt組成，並表示Alpaca 模型的分散式資料；為了提供更實際的評估協議，Koala測試集包含180個線上發布的真實用戶query，跨越不同的主題，通常是會話式的，更能代表基於聊天系統的實際用例，並且為了減少可能的測試集洩漏，最終從訓練集中篩選出BLEU 得分大於20% 的查詢。

此外，由於研究團隊都更擅長英語，所以研究人員刪除了非英語和編碼相關的提示以提供更可靠的標註結果，最後在亞馬遜眾包平台上對大約100名標註員進行一次盲測，在評分界面為每個評分者提供一個輸入提示和兩個模型的輸出，然後要求使用與回复質量和正確性相關的標準來判斷哪個輸出更好（允許同樣好）。

在 Alpaca 測試集中，Koala-All的表現與 Alpaca 相當。

在Koala測試集（包含真實的user query）中，Koala-All所有在將近一半的樣本中比Alpaca 更好，70% 的案例中超過或與Alpaca同樣好，其中一定有Koala訓練集合測試集相似度較高的原因，所以這個結果並不是特別意外。

但是只要這些提示更像這些模型的下游用例，也就意味著Koala在類似助手的應用中會表現得更好，表明使用網路上發布的範例與語言模型進行交互，是賦予這些模型有效的指令執行能力的有效策略。

比較讓人以外的是，研究人員發現除了蒸餾資料(Koala-All)之外，對開源資料的訓練比僅對ChatGPT 蒸餾資料(Koala-Distill)的訓練表現稍差。

雖然這種差異可能並不顯著，但這一結果表明，ChatGPT對話的品質非常高，以至於即使包含兩倍的開源資料也不會獲得顯著的改進。

最初的假設是，Koala-All應該表現得更好一些，因此在所有的評估中都使用Koala-All作為主要的評估模型，最終可以發現，有效的指令和輔助模型可以從大型語言模型中獲得，只要這些prompts能夠代表使用者在測試階段的多樣性即可。

所以，建立強有力的對話模式的關鍵可能更多地在於管理高品質的對話數據，這些數據在用戶查詢方面各不相同，並不能簡單地將現有數據集重新格式化為問題和答案。

限制與安全性

和其他語言模型一樣，Koala同樣也有局限性，如果被誤用的話，可能會對使用者造成傷害。

研究人員觀察到，Koala會產生幻覺，並以非常自信的口吻作出非事實性的反應，可能是對話微調的結果，換句話說，就是較小的模型繼承了較大語言模型的自信風格，並沒有繼承同等程度的事實，在未來需要重點改進。

當被誤用時，Koala的幻覺回覆可能會促進錯誤訊息、垃圾郵件和其他內容的傳播。

無尾熊能夠以一種自信和令人信服的語調幻想不準確的信息，除了幻覺，無尾熊還有其他聊天機器人語言模型的不足之處。其中包括:

• 偏見和刻板印象: 模型繼承了偏見的訓練對話數據，包括刻板印象、歧視和其他傷害。
• 缺乏常雖然大型語言模型可以產生看似連貫和語法正確的文本，但它們往往缺乏人們認為理所當然的常識知識，這可能導致荒謬或不適當的反應。
• 有限理解: 大型語言模型可能難以理解對話的脈絡和細微差別，也很難辨識諷刺或反諷，可能會導致誤解。

為了解決Koala的安全隱患，研究人員在 ShareGPT 和 AnthropicHH 的資料集中包含了對抗性提示，以使模型更加健壯和無害。

為了進一步減少潛在的濫用，在演示中也部署了 OpenAI 的內容審核過濾器來標記和刪除不安全的內容。

未來工作

研究人員希望Koala模型能夠成為未來大型語言模型學術研究的一個有用的平台：該模型足以展示現代語言模型的諸多功能，同時又足夠小，可以用更少的計算量進行微調或使用，未來的研究方向可能包括：

• 安全性和一致性 : 進一步研究語言模型的安全性和更好的與人類意圖的一致性。
• 模型偏請見：更好地理解大型語言模型的偏見、對話資料集中虛假相關性和品質問題的存在，以及減輕這種偏差的方法。
• 理解大型語言模式#類型：因為Koala的推理可以相對廉價的GPU 上執行，可以更好地檢查和理解對話語言模型的內部，使黑盒語言模型更容易理解。

####

以上是成本不到100美元！ UC柏克萊再開源類ChatGPT模型「無尾熊」：資料量大沒有用，高品質才是王道的詳細內容。更多資訊請關注PHP中文網其他相關文章！