搜尋
首頁科技週邊人工智慧全方位、無死角的開源,邢波團隊LLM360讓大模型實現真正的透明

開源模型正展現著它們蓬勃的生命力,不僅數量激增,性能更是愈發優秀。圖靈獎得主Yann LeCun 也發出了這樣的感嘆:「開源人工智慧模型正走在超越專有模型的路上。」

專有模型在技術性能和創新能力方面表現出了巨大的潛力,但是由於其非開源的特性,阻礙了LLM的發展。一些開源模型雖然為從業者和研究者提供了多樣化的選擇,但大多數隻公開了最終的模型權重或推理程式碼,越來越多的技術報告將其範圍限制在頂層設計和表面統計之內。這種閉源的策略不僅限制了開源模型的發展,而且在很大程度上阻礙了整個LLM研究領域的進步

這意味著,這些模型需要更全面和深入地分享,包括訓練資料、演算法細節、實現挑戰以及效能評估的細節。

Cerebras、Petuum 和 MBZUAI 等的研究者們共同提出了 LLM360。這是一項全面開源 LLM 的倡議,主張向社區提供與 LLM 訓練相關的一切,包含訓練程式碼和資料、模型檢查點以及中間結果等。 LLM360 的目標是讓 LLM 訓練過程透明化,使每個人都能復現,從而推動開放和協作式的人工智慧研究的發展。

全方位、無死角的開源,邢波團隊LLM360讓大模型實現真正的透明


  • #論文網址:https://arxiv.org/pdf/2312.06550 .pdf
  • 專案網頁:https://www.llm360.ai/
  • 部落格:https://www.llm360.ai/blog/introducing-llm360-fully-transparent-open-source-llms.html

#研究者們制定了LLM360 的架構,重點在於其設計原則和完全開源的理由。他們詳細規定了 LLM360 框架的組成部分,包含資料集、程式碼和配置、模型檢查點、指標等具體細節。 LLM360 為目前和未來的開源模型樹立了透明度的樣本。

研究者在 LLM360 的開源框架下發布了兩個從頭開始預先訓練的大型語言模型:AMBER 和 CRYSTALCODER。 AMBER 是基於 1.3T token 進行預訓練的 7B 英語語言模型。 CRYSTALCODER 是基於 1.4T token 預訓練的 7B 英語和代碼語言模型。在本文中,研究者們總結了這兩個模型的開發細節、初步評估結果、觀察結果以及從中汲取的經驗和教訓。值得注意的是,在發佈時,AMBER 和 CRYSTALCODER 在訓練過程中分別保存了 360 個和 143 個模型檢查點。

全方位、無死角的開源,邢波團隊LLM360讓大模型實現真正的透明

下面,我們一起來看看文章的詳細內容吧

LLM360 的框架

LLM360 將為LLM 預訓練過程中需要收集哪些資料和程式碼提供一個標準,以確保現有的工作能更好地在社區中流通、共享。它主要包含以下幾個部分:

全方位、無死角的開源,邢波團隊LLM360讓大模型實現真正的透明

#1. 訓練資料集和資料處理程式碼

預訓練資料集對大型語言模型的效能至關重要。因此,了解預訓練資料集,用以評估潛在的行為問題和偏見非常重要。此外,公開的預訓練資料集有助於提高 LLM 在後續微調和適應各領域時的可擴展性。最近的研究表明,在重複資料上進行訓練會不成比例地降低模型最終的表現。因此,公開原始預訓練數據,有助於避免在下游微調或繼續在特定領域進行預訓練時使用到重複的數據。綜合以上原因,LLM360 倡導公開大型語言模型的原始資料集。在適當的情況中,也應公開關於資料過濾、處理和訓練順序的詳細資訊。

需要重新寫作的內容是:2. 訓練程式碼、超參數和設定

訓練程式碼、超參數和配置對 LLM 訓練的效能和品質有重大影響,但並非總是公開揭露。在 LLM360 中,研究者開源預訓練框架的所有訓練程式碼、訓練參數以及系統配置。

3. 模型檢查點重寫為:3.模型檢查點

定期儲存模型檢查點也相當有用。它們不僅對訓練過程中的故障恢復至關重要,而且對訓練後的研究也很有用,這些檢查點可以讓後來的研究者從多個起點繼續訓練模型,無需從頭開始訓練,有助於復現和深入研究。

4. 效能指標

#訓練一個LLM 往往需要花費數週至數月,訓練期間的演化趨勢可以提供有價值的資訊。然而,目前只有親歷者才能獲得訓練的詳細日誌和中間指標,這阻礙了對 LLM 的全面研究。這些統計數據往往包含了難以察覺的關鍵見解。即使是對這些衡量標準進行方差計算這樣的簡單分析,也能揭示重要的發現。例如,GLM 的研究團隊就是透過分析梯度規範行為,提出了一種有效處理損失尖峰和 NaN 損失的梯度收縮演算法。

Amber 

AMBER 是LLM360 「大家庭」的第一位成員,同時發布的還有它的微調版本:AMBERCHAT 和AMBERSAFE 。

全方位、無死角的開源,邢波團隊LLM360讓大模型實現真正的透明

全方位、無死角的開源,邢波團隊LLM360讓大模型實現真正的透明

全方位、無死角的開源,邢波團隊LLM360讓大模型實現真正的透明

#表2 詳細列出了AMBER 的預訓練資料集,其中包含1.26 T 個標記。其中包括資料的預處理方法、格式、資料混合比例以及 AMBER 模型的架構細節和特定預訓練超參數。詳細資訊請參考LLM360 程式碼庫的專案首頁

AMBER採用了與LLaMA 7B4相同的模型結構,表3總結了LLM的詳細結構配置

全方位、無死角的開源,邢波團隊LLM360讓大模型實現真正的透明#在預訓練和超參數方面,研究人員盡力遵循了LLaMA的預訓練超參數。 AMBER使用AdamW優化器進行訓練,超參數為:β₁=0.9,β₂=0.95。此外,研究人員還發布了幾個AMBER的微調版本:AMBERCHAT和AMBERSAFE。 AMBERCHAT是基於WizardLM的指令訓練資料集進行微調的。有關更多參數細節,請參閱原​​文

為了達到不改變原始意義的目的,需要將內容重寫為中文。以下是對"實驗及結果"的重寫: 進行實驗和結果分析

全方位、無死角的開源,邢波團隊LLM360讓大模型實現真正的透明

研究者們使用了Open LLM排行榜上的四個基準資料集來評估AMBER的效能。根據圖4所示,在HellaSwag和ARC資料集中,AMBER的得分在預訓練期間逐漸增加,而在TruthfulQA資料集中,得分則隨著訓練而降低。在MMLU資料集中,AMBER的得分在預訓練的初始階段下降,然後開始上升

在表4 中,研究者將AMBER 的模型表現與OpenLLaMA、RedPajama-INCITE、Falcon、MPT 等類似時間段內訓練出的模型進行了比較。許多模型的設計靈感都來自 LLaMA 。可以發現,AMBER 在 MMLU 的得分較為出色,但在 ARC 的表現稍遜一籌。與其他類似模型相比,AMBER 的表現相對較強。 全方位、無死角的開源,邢波團隊LLM360讓大模型實現真正的透明

###############CRYSTALCODER ############ LLM360 「大家庭」的第二位成員是 CrystalCoder。 #####################

CrystalCoder 是一個基於 1.4 T token 訓練的 7B 語言模型,實現了編碼和語言能力之間的平衡。與大多數先前的程式碼 LLM 不同,CrystalCoder 是透過精心混合文字和程式碼資料進行訓練的,以最大化在這兩個領域的實用性。與 Code Llama 2 相比,CrystalCoder 的程式碼資料在預訓練過程中較早引入。此外,研究者在 Python 和 Web 程式語言上訓練了 CrystalCoder,以提高其作為程式設計助理的實用性。

重新建構模型架構

CrystalCoder 採用了與LLaMA 7B 非常相似的架構,加入了最大更新參數化(muP)。除了這種特定的參數化,研究者也做了一些修改。另外,研究者也使用 LayerNorm 取代 RMSNorm,因為 CG-1 架構支援高效運算 LayerNorm。

為了達到不改變原始意義的目的,需要將內容重寫為中文。以下是對"實驗及結果"的重寫: 進行實驗和結果分析

在Open LLM Leaderboard上,研究者對此模型進行了基準測試,包括四個基準資料集和編碼基準資料集。如圖6所示

全方位、無死角的開源,邢波團隊LLM360讓大模型實現真正的透明

#參考表5,可以看到CrystalCoder在語言任務與程式碼任務之間取得了良好的平衡

全方位、無死角的開源,邢波團隊LLM360讓大模型實現真正的透明

#ANALYSIS360

#根據先前的研究,透過分析模型的中間檢查點,可以進行深入研究。研究人員希望LLM360能為社區提供有用的參考和研究資源。為此,他們發布了ANALYSIS360專案的初始版本,這是一個對模型行為進行多方面分析的有組織儲存庫,包括模型特徵和下游評估結果

作為對一系列模型檢查點進行分析的範例,研究者對LLM中的記憶化進行了初步研究。最近的研究顯示,LLM可能會記憶大部分訓練數據,並且透過適當的提示可以提取這些數據。這種記憶化不僅存在著洩漏私人訓練資料方面的問題,而且如果訓練資料包含重複或特殊性,還會降低LLM的效能。研究者公開了所有檢查點和數據,以便可以對整個訓練階段的記憶化進行全面分析

以下為本文所採用的記憶化得分方法,該得分錶示在長度為k 的提示後續長度為l 的token 的準確性。具體記憶化得分設置,請參閱原​​文。

全方位、無死角的開源,邢波團隊LLM360讓大模型實現真正的透明

在圖7中呈現了10個選定檢查點的記憶化分數分佈情況

全方位、無死角的開源,邢波團隊LLM360讓大模型實現真正的透明

研究者根據所選檢查點將資料區塊分組,並在圖8 中繪製每個檢查點的每個資料區塊組的記憶化分數。他們發現 AMBER 檢查點對最新數據的記憶化程度超過先前的數據。此外對於每個資料區塊,記憶化分數在額外訓練後會略有下降,但之後會持續上升。

全方位、無死角的開源,邢波團隊LLM360讓大模型實現真正的透明

圖 9 展示了序列之間在記憶化分數和可擷取 k 值的相關性。可見,檢查點之間有強烈的相關性。

全方位、無死角的開源,邢波團隊LLM360讓大模型實現真正的透明

總結

#研究者總結了對AMBER和CRYSTALCODER的觀察結果和一些啟示。他們表示,預訓練是一項計算量龐大的任務,許多學術實驗室或小型機構都無法負擔。他們希望LLM360能提供全面的知識,讓使用者了解LLM預訓練過程中發生的情況,而無需親自動手

請查看原文以取得更多詳細資訊

以上是全方位、無死角的開源,邢波團隊LLM360讓大模型實現真正的透明的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述
本文轉載於:51CTO.COM。如有侵權,請聯絡admin@php.cn刪除
使用Lamini-Analytics Vidhya微調開源LLM使用Lamini-Analytics Vidhya微調開源LLMApr 12, 2025 am 10:20 AM

最近,隨著大語言模型和AI的興起,我們看到了自然語言處理方面的無數進步。文本,代碼和圖像/視頻生成等域中的模型具有存檔的人類的推理和P

Python中使用OpenCV和Roboflow進行性別檢測 - 分析VidhyaPython中使用OpenCV和Roboflow進行性別檢測 - 分析VidhyaApr 12, 2025 am 10:19 AM

介紹 從面部圖像中檢測性別是計算機視覺的眾多迷人應用之一。在這個項目中,我們將OpenCV結合在一起,以解決位置與性別分類的Roboflow API

生成AI在個性化廣告內容中的作用是什麼?生成AI在個性化廣告內容中的作用是什麼?Apr 12, 2025 am 10:18 AM

介紹 自易貨系統概念以來,廣告世界一直在進化。廣告商找到了創造性的方法來引起我們的關注。在當前年齡,消費者期望BR

Openai' o1-preview vs o1-mini:向前邁出的一步Openai' o1-preview vs o1-mini:向前邁出的一步Apr 12, 2025 am 10:04 AM

介紹 9月12日,OpenAI發布了一項名為“與LLM的學習推理”的更新。他們介紹了O1模型,該模型是使用強化學習來應對複雜推理任務的訓練。是什麼設置了此mod

如何使用OpenAI O1構建遊戲? - 分析Vidhya如何使用OpenAI O1構建遊戲? - 分析VidhyaApr 12, 2025 am 10:03 AM

介紹 OpenAI O1模型家族大大提高了推理能力和經濟表現,尤其是在科學,編碼和解決問題方面。 Openai的目標是創建越來越高的AI和O1模型

流行的LLM代理工具用於客戶查詢管理流行的LLM代理工具用於客戶查詢管理Apr 12, 2025 am 10:01 AM

介紹 如今,客戶查詢管理的世界正在以前所未有的速度移動,每天都有新的工具成為頭條新聞。大型語言模型(LLM)代理是在這種情況下的最新創新,增強了Cu

100天企業的AI實施計劃100天企業的AI實施計劃Apr 12, 2025 am 09:56 AM

介紹 採用生成AI可能是任何公司的變革旅程。但是,Genai實施過程通常會繁瑣且令人困惑。 Niit Lim的董事長兼聯合創始人Rajendra Singh Pawar

Pixtral 12B與QWEN2-VL-72BPixtral 12B與QWEN2-VL-72BApr 12, 2025 am 09:52 AM

介紹 人工智能革命引起了創造力的新時代,文本對圖像模型正在重新定義藝術,設計和技術的交集。 pixtral 12b和qwen2-vl-72b是兩個開創性的力量。

See all articles

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

AI Hentai Generator

AI Hentai Generator

免費產生 AI 無盡。

熱門文章

R.E.P.O.能量晶體解釋及其做什麼(黃色晶體)
3 週前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.最佳圖形設置
3 週前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.如果您聽不到任何人,如何修復音頻
3 週前By尊渡假赌尊渡假赌尊渡假赌
WWE 2K25:如何解鎖Myrise中的所有內容
3 週前By尊渡假赌尊渡假赌尊渡假赌

熱工具

Atom編輯器mac版下載

Atom編輯器mac版下載

最受歡迎的的開源編輯器

SecLists

SecLists

SecLists是最終安全測試人員的伙伴。它是一個包含各種類型清單的集合,這些清單在安全評估過程中經常使用,而且都在一個地方。 SecLists透過方便地提供安全測試人員可能需要的所有列表,幫助提高安全測試的效率和生產力。清單類型包括使用者名稱、密碼、URL、模糊測試有效載荷、敏感資料模式、Web shell等等。測試人員只需將此儲存庫拉到新的測試機上,他就可以存取所需的每種類型的清單。

DVWA

DVWA

Damn Vulnerable Web App (DVWA) 是一個PHP/MySQL的Web應用程序,非常容易受到攻擊。它的主要目標是成為安全專業人員在合法環境中測試自己的技能和工具的輔助工具,幫助Web開發人員更好地理解保護網路應用程式的過程,並幫助教師/學生在課堂環境中教授/學習Web應用程式安全性。 DVWA的目標是透過簡單直接的介面練習一些最常見的Web漏洞,難度各不相同。請注意,該軟體中

SublimeText3 Linux新版

SublimeText3 Linux新版

SublimeText3 Linux最新版

EditPlus 中文破解版

EditPlus 中文破解版

體積小,語法高亮,不支援程式碼提示功能