130億參數，8個A100訓練，UC柏克萊發布對話模式Koala

自從Meta 發布並開源了LLaMA 系列模型，來自斯坦福大學、UC 伯克利等機構的研究者們紛紛在LLaMA 的基礎上進行“二創”，先後推出了Alpaca、Vicuna 等多個“羊駝”大模型。

羊駝已然成為開源社群的新晉頂流。由於「二創」過於豐富，生物學羊駝屬的英文單字快不夠用了，但是用其他動物的名字為大模型命名也是可以的。

最近，UC 柏克萊的柏克萊人工智慧研究院（BAIR）發布了一個可以在消費級 GPU 上運行的對話模型 Koala（直譯為無尾熊）。 Koala 使用從網路收集的對話資料對 LLaMA 模型進行微調。

專案網址：https://bair.berkeley.edu/blog/2023/04/03/koala/

Koala 已經推出線上測試demo：

• Demo 位址： https://chat.lmsys.org/?model=koala-13b
• #開源位址：https://github.com/young-geng/EasyLM

Koala 概述

與Vicuna 類似，Koala 也使用從網路收集的對話資料對LLaMA 模型進行微調，其中重點關注與ChatGPT等閉源大模型對話的公開資料。

研究團隊表示，Koala 模型在 EasyLM 中使用 JAX/Flax 實現，並在配備 8 個 A100 GPU 的單一 Nvidia DGX 伺服器上訓練 Koala 模型。完成 2 個 epoch 的訓練需要 6 小時。在公有雲運算平台上，進行此類訓練的成本通常低於 100 美元。

研究團隊將Koala 與ChatGPT 和史丹佛大學的Alpaca 進行了實驗比較，結果顯示：具有130 億參數的Koala-13B 可以有效地回應各種用戶查詢，產生的反應通常優於Alpaca，並且在超過一半的情況下與ChatGPT 性能相當。

Koala 最重要的意義是它表明：在品質較高的資料集上進行訓練，那麼小到可以在本地運行的模型也可以獲得類似大模型的優秀性能。這意味著開源社群應該更加努力地管理高品質資料集，因為這可能比簡單地增加現有系統的規模更能實現安全、真實和強大的模型。從這個角度看，Koala 是 ChatGPT 一種小而精的平替。

不過，Koala 還只是一個研究原型，在內容、安全性和可靠性方面仍然存在重大缺陷，也不應用於研究以外的任何用途。

資料集和訓練

建立對話模型的主要障礙是管理訓練資料。 ChatGPT、Bard、Bing Chat 和 Claude 等大型對話模型都使用具有大量人工註釋的專有資料集。為了建立 Koala 的訓練資料集，研究團隊從網路和公共資料集中收集對話資料並整理，其中包含使用者公開分享的與大型語言模型（例如 ChatGPT）對話的資料。

不同於其他模型盡可能抓取網路資料來最大化資料集，Koala 是專注於收集小型高品質資料集，包括公共資料集中的問答部分、人類回饋（正面和負面）以及與現有語言模型的對話。具體而言，Koala 的訓練資料集包括以下幾個部分：

ChatGPT 蒸餾資料：

• ##公開可用的與ChatGPT 對話資料（ShareGPT）；
• Human ChatGPT 比較語料庫(HC3)，其中同時使用來自HC3 資料集的人類和ChatGPT 回應。

開源資料：

• Open Instruction Generalist (OIG);
• 史丹佛Alpaca 模型所使用的資料集；
• ##Anthropic HH ;
• OpenAI WebGPT;
• OpenAI Summarization。

實驗與評估

該研究進行了一項人工評估，將Koala-All 與Koala-Distill、Alpaca 和ChatGPT 幾個模型的生成結果進行比較，結果如下圖所示。其中，使用兩個不同的資料集進行測試，一個是史丹佛的 Alpaca 測試集，其中包括 180 個測試查詢（Alpaca Test Set），另一個是 Koala Test Set。

總的來說，Koala 模型足以展示LLM 的許多功能，同時又足夠小，方便進行微調或在計算資源有限的情況下使用。研究團隊希望Koala 模型成為未來大型語言模型學術研究的有用平台，潛在的研究應用方向可能包括：

• 安全性和對齊：Koala 允許進一步研究語言模型的安全性並更好地與人類意圖保持一致。
• 模型偏差：Koala 使我們能夠更好地理解大型語言模型的偏差，深入研究對話資料集的品質問題，最終有助於改進大型語言模型的效能。
• 理解大型語言模型：由於Koala 模型可以在相對便宜的消費級GPU 上運行，並且執行多種任務，因此Koala 使我們能夠更好地檢查和理解對話語言模型的內部結構，使語言模型更具可解釋性。
#

以上是130億參數，8個A100訓練，UC柏克萊發布對話模式Koala的詳細內容。更多資訊請關注PHP中文網其他相關文章！