搜尋
首頁科技週邊人工智慧深入探討模型、資料與架構:一份詳盡的54頁高效能大語言模型綜述

大規模語言模型(LLMs)在許多重要任務中展現出了引人注目的能力,包括自然語言理解、語言生成和複雜推理,並對社會產生了深遠的影響。然而,這些出色的能力卻需要大量的訓練資源(如左圖)和較長的推理時間(如右圖)。因此,研究人員需要開發有效的技術手段來解決它們的效率問題。

此外,從圖的右邊還可以看出,一些高效率的LLMs(Language Models)如Mistral-7B,已經成功應用於LLMs的設計和部署。這些高效的LLMs在保持與LLaMA1-33B相近的準確性的同時,能夠大大減少推理記憶體使用和降低推理延遲。這顯示已經有一些可行的高效方法成功地應用於LLMs的設計和使用。

深入探討模型、資料與架構:一份詳盡的54頁高效能大語言模型綜述

在本篇綜述中,來自俄亥俄州立大學、帝國學院、密西根州立大學、密西根大學、亞馬遜、Google、Boson AI、微軟亞研院的研究者提供了對高效LLMs 研究的系統性全面調查。他們將現有優化 LLMs 效率的技術分成了三個類別,包括以模型為中心、以數據為中心和以框架為中心,總結並討論了當下最前沿的相關技術。

深入探討模型、資料與架構:一份詳盡的54頁高效能大語言模型綜述


  • #論文:https://arxiv.org/abs/2312.03863
  • GitHub: https://github.com/AIoT-MLSys-Lab/Efficient-LLMs-Survey 

##為了方便整理綜述中所涉及的論文,並保持更新,研究者創建了一個GitHub 倉庫,並積極維護。他們希望這個倉庫能夠幫助研究人員和從業者有系統地了解高效 LLMs 的研究和發展,並激發他們為這個重要而令人興奮的領域做出貢獻。

倉庫的網址是https://github.com/AIoT-MLSys-Lab/Efficient-LLMs-Survey。在這個倉庫中,你可以找到關於高效能低功耗機器學習系統的調查的相關內容。這個倉庫提供了一些研究論文、程式碼和文檔,幫助人們更好地了解和探索高效低功耗的機器學習系統。如果你對這個領域感興趣,可以透過造訪這個倉庫來獲取更多的資訊。

以模型為中心

以模型為中心的方法專注於演算法層面和系統層面的高效技術,其中模型本身是焦點。由於 LLMs 具有數十億甚至數萬億的參數,與規模較小的模型相比,它們具有諸如湧現等獨特的特徵,因此需要開發新的技術來優化 LLMs 的效率。本文詳細討論了五類以模型為中心的方法,包括模型壓縮、高效預訓練、高效微調、高效推理和高效模型架構設計

1. 壓縮模型 在機器學習領域,模型的大小通常是重要的考量。大型的模型往往需要更多的儲存空間和運算資源,而且在行動裝置上運行時可能會遇到限制。因此,壓縮模型是常用的技術,可以減少模型的大小

模型壓縮技術主要分為四類:量化、參數剪枝、低秩估計和知識蒸餾(參見下圖),其中量化會把模型的權重或者激活值從高精度壓縮到低精度,參數剪枝會搜索並刪除模型權重中較為冗餘的部分,低秩估計會將模型的權重矩陣轉換為若干低秩小矩陣的乘積,知識蒸餾則是直接用大模型來訓練小模型,使得小模型在做某些任務的時候具有取代大模型的能力。

深入探討模型、資料與架構:一份詳盡的54頁高效能大語言模型綜述

2. 高效能預訓練

#預訓練LLMs 的成本非常昂貴。高效預訓練旨在提高效率並降低 LLMs 預訓練過程的成本。高效能預訓練又可分為混合精度加速、模型縮放、初始化技術、最佳化策略和系統層級的加速。

混合精度加速透過使用低精度權重計算梯度、權重和激活值,然後在將其轉換回高精度並應用於更新原始權重,從而提高預訓練的效率。模型縮放透過使用小型模型的參數來擴展到大型模型,加速預訓練的收斂並降低訓練成本。初始化技術透過設計模型的初始化取值來加快模型的收斂速度。最佳化策略是重在設計輕量的最佳化器來降低模型訓練過程中的記憶體消耗,系統層級的加速則是透過分散式等技術來從系統層面加速模型的預訓練。

深入探討模型、資料與架構:一份詳盡的54頁高效能大語言模型綜述

3. 高效能微調

高效能微調旨在提高LLMs 微調過程的效率。常見的高效微調技術分為了兩類,一類是基於參數高效的微調,一類是基於記憶體高效的微調。

基於參數高效能微調(PEFT)的目標是透過凍結整個 LLM 主幹,僅更新一小組額外的參數,將 LLM 調整到下游任務。在論文中,我們又將 PEFT 詳細分成了基於適配器的微調、低秩適配、前綴微調和提示詞微調。

基於記憶體的高效微調則是重在降低整個 LLM 微調過程中的記憶體消耗,例如減少最佳化器狀態和啟動值等消耗的記憶體。

深入探討模型、資料與架構:一份詳盡的54頁高效能大語言模型綜述

4. 高效能推理

高效推理旨在提高LLMs 推理過程的效率。研究者將常見的高效推理技術分成了兩大類,一類是演算法層級的推理加速,一類是系統層級的推理加速。

演算法層級的推理加速又可以分成兩類:投機解碼和 KV - 快取最佳化。投機解碼透過使用較小的草稿模型並行計算令牌,為較大目標模型建立猜測性前綴,從而加速取樣過程。 KV - 快取最佳化指的是最佳化在 LLMs 推理過程中 Key-Value(KV)對的重複計算。

系統層級的推理加速則是在指定硬體上最佳化記憶體存取次數,增大演算法並行量等來加速 LLM 的推理。

深入探討模型、資料與架構:一份詳盡的54頁高效能大語言模型綜述

5. 高效能模型架構設計

對LLMs 進行高效架構設計是指透過策略性優化模型結構和計算過程,以提高效能和可擴展性,同時最小化資源消耗。我們將高效率的模型架構設計依據模型的種類分成了四大類:高效注意力模組、混合專家模型、長文本大模型以及可取代 transformer 的架構。

高效注意力模組旨在優化注意力模組中的複雜計算及記憶體佔用,混合專家模型(MoE)則是透過將LLMs 的某些模組的推理決策使用多個小的專家模型來替代從而達到整體的稀疏化,長文本大模型是專門設計來高效處理超長文本的LLMs, 可替代transformer 的架構則是透過重新設計模型架構,來降低模型的複雜度並達到後transformer 架構相當的推理能力。

深入探討模型、資料與架構:一份詳盡的54頁高效能大語言模型綜述

以資料為中心

#以資料為中心方法著重於資料的品質和結構在提高LLMs 效率方面的作用。研究者在本文中詳細討論了兩類以資料為中心的方法,包括資料選擇和提示詞工程

1. 資料選擇

#LLMs 的資料選擇旨在對預訓練/微調數據進行清洗和選擇,例如移除冗餘和無效數據,達到加快訓練過程的目的。

深入探討模型、資料與架構:一份詳盡的54頁高效能大語言模型綜述

#

2. 提示字工程

#提示字工程透過設計有效的輸入(提示字)來引導LLMs產生期望的輸出,它的高效之處在於可以透過設計提示詞,來達到和經過將繁瑣的微調相當的模型表現。研究者將常見的的提示詞工程技術分成了三大類:少樣本的提示詞工程、提示詞壓縮和提示詞生成。

少樣本的提示詞工程透過向 LLM 提供有限的範例集以引導其對需要執行的任務進行理解。提示詞壓縮是透過壓縮冗長的提示輸入或學習和使用提示表示,加速 LLMs 對輸入的處理。提示詞產生旨在自動建立有效的提示,引導模型產生具體且相關的回應,而不是使用手動標註的資料。

深入探討模型、資料與架構:一份詳盡的54頁高效能大語言模型綜述

深入探討模型、資料與架構:一份詳盡的54頁高效能大語言模型綜述

以框架為中心

研究者調查了近來較為流行的高效LLMs 框架,並列舉了它們所能優化的高效任務,包括預訓練、微調和推理(如下圖)。

深入探討模型、資料與架構:一份詳盡的54頁高效能大語言模型綜述

總結

#在這份調查中,研究者為大家提供了一份關於高效LLMs 的系統性回顧,這是一個致力於使LLMs 更加民主化的重要研究領域。他們一開始就解釋了為什麼需要高效 LLMs。在一個有序的框架下,本文分別從以模型的中心、以資料的中心和以框架為中心的角度分別調查了 LLMs 的演算法層面和系統層面的高效技術。

研究者相信,在 LLMs 和以 LLMs 為導向的系統中,效率將發揮越來越重要的作用。他們希望這份調查能幫助研究人員和實踐者迅速進入這一領域,並成為激發新的高效 LLMs 研究的催化劑。

以上是深入探討模型、資料與架構:一份詳盡的54頁高效能大語言模型綜述的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述
本文轉載於:51CTO.COM。如有侵權,請聯絡admin@php.cn刪除
外推指南外推指南Apr 15, 2025 am 11:38 AM

介紹 假設有一個農民每天在幾週內觀察農作物的進展。他研究了增長率,並開始思考他的植物在幾週內可以生長的高度。從Th

軟AI的興起及其對當今企業的意義軟AI的興起及其對當今企業的意義Apr 15, 2025 am 11:36 AM

軟AI(被定義為AI系統,旨在使用近似推理,模式識別和靈活的決策執行特定的狹窄任務 - 試圖通過擁抱歧義來模仿類似人類的思維。 但是這對業務意味著什麼

為AI前沿的不斷發展的安全框架為AI前沿的不斷發展的安全框架Apr 15, 2025 am 11:34 AM

答案很明確 - 只是雲計算需要向雲本地安全工具轉變,AI需要專門為AI獨特需求而設計的新型安全解決方案。 雲計算和安全課程的興起 在

生成AI的3種方法放大了企業家:當心平均值!生成AI的3種方法放大了企業家:當心平均值!Apr 15, 2025 am 11:33 AM

企業家,並使用AI和Generative AI來改善其業務。同時,重要的是要記住生成的AI,就像所有技術一樣,都是一個放大器 - 使得偉大和平庸,更糟。嚴格的2024研究O

Andrew Ng的新簡短課程Andrew Ng的新簡短課程Apr 15, 2025 am 11:32 AM

解鎖嵌入模型的力量:深入研究安德魯·NG的新課程 想像一個未來,機器可以完全準確地理解和回答您的問題。 這不是科幻小說;多虧了AI的進步,它已成為R

大語言模型(LLM)中的幻覺是不可避免的嗎?大語言模型(LLM)中的幻覺是不可避免的嗎?Apr 15, 2025 am 11:31 AM

大型語言模型(LLM)和不可避免的幻覺問題 您可能使用了諸如Chatgpt,Claude和Gemini之類的AI模型。 這些都是大型語言模型(LLM)的示例,在大規模文本數據集上訓練的功能強大的AI系統

60%的問題 -  AI搜索如何消耗您的流量60%的問題 - AI搜索如何消耗您的流量Apr 15, 2025 am 11:28 AM

最近的研究表明,根據行業和搜索類型,AI概述可能導致有機交通下降15-64%。這種根本性的變化導致營銷人員重新考慮其在數字可見性方面的整個策略。 新的

麻省理工學院媒體實驗室將人類蓬勃發展成為AI R&D的核心麻省理工學院媒體實驗室將人類蓬勃發展成為AI R&D的核心Apr 15, 2025 am 11:26 AM

埃隆大學(Elon University)想像的數字未來中心的最新報告對近300名全球技術專家進行了調查。由此產生的報告“ 2035年成為人類”,得出的結論是,大多數人擔心AI系統加深的採用

See all articles

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

AI Hentai Generator

AI Hentai Generator

免費產生 AI 無盡。

熱門文章

R.E.P.O.能量晶體解釋及其做什麼(黃色晶體)
4 週前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.最佳圖形設置
4 週前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.如果您聽不到任何人,如何修復音頻
4 週前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.聊天命令以及如何使用它們
4 週前By尊渡假赌尊渡假赌尊渡假赌

熱工具

Atom編輯器mac版下載

Atom編輯器mac版下載

最受歡迎的的開源編輯器

SublimeText3 Linux新版

SublimeText3 Linux新版

SublimeText3 Linux最新版

Dreamweaver CS6

Dreamweaver CS6

視覺化網頁開發工具

mPDF

mPDF

mPDF是一個PHP庫,可以從UTF-8編碼的HTML產生PDF檔案。原作者Ian Back編寫mPDF以從他的網站上「即時」輸出PDF文件,並處理不同的語言。與原始腳本如HTML2FPDF相比,它的速度較慢,並且在使用Unicode字體時產生的檔案較大,但支援CSS樣式等,並進行了大量增強。支援幾乎所有語言,包括RTL(阿拉伯語和希伯來語)和CJK(中日韓)。支援嵌套的區塊級元素(如P、DIV),

SAP NetWeaver Server Adapter for Eclipse

SAP NetWeaver Server Adapter for Eclipse

將Eclipse與SAP NetWeaver應用伺服器整合。