大規模語言模型(LLMs)在許多重要任務中展現出了引人注目的能力,包括自然語言理解、語言生成和複雜推理,並對社會產生了深遠的影響。然而,這些出色的能力卻需要大量的訓練資源(如左圖)和較長的推理時間(如右圖)。因此,研究人員需要開發有效的技術手段來解決它們的效率問題。
此外,從圖的右邊還可以看出,一些高效率的LLMs(Language Models)如Mistral-7B,已經成功應用於LLMs的設計和部署。這些高效的LLMs在保持與LLaMA1-33B相近的準確性的同時,能夠大大減少推理記憶體使用和降低推理延遲。這顯示已經有一些可行的高效方法成功地應用於LLMs的設計和使用。
在本篇綜述中,來自俄亥俄州立大學、帝國學院、密西根州立大學、密西根大學、亞馬遜、Google、Boson AI、微軟亞研院的研究者提供了對高效LLMs 研究的系統性全面調查。他們將現有優化 LLMs 效率的技術分成了三個類別,包括以模型為中心、以數據為中心和以框架為中心,總結並討論了當下最前沿的相關技術。
- #論文:https://arxiv.org/abs/2312.03863
- GitHub: https://github.com/AIoT-MLSys-Lab/Efficient-LLMs-Survey
##為了方便整理綜述中所涉及的論文,並保持更新,研究者創建了一個GitHub 倉庫,並積極維護。他們希望這個倉庫能夠幫助研究人員和從業者有系統地了解高效 LLMs 的研究和發展,並激發他們為這個重要而令人興奮的領域做出貢獻。
倉庫的網址是https://github.com/AIoT-MLSys-Lab/Efficient-LLMs-Survey。在這個倉庫中,你可以找到關於高效能低功耗機器學習系統的調查的相關內容。這個倉庫提供了一些研究論文、程式碼和文檔,幫助人們更好地了解和探索高效低功耗的機器學習系統。如果你對這個領域感興趣,可以透過造訪這個倉庫來獲取更多的資訊。
以模型為中心
以模型為中心的方法專注於演算法層面和系統層面的高效技術,其中模型本身是焦點。由於 LLMs 具有數十億甚至數萬億的參數,與規模較小的模型相比,它們具有諸如湧現等獨特的特徵,因此需要開發新的技術來優化 LLMs 的效率。本文詳細討論了五類以模型為中心的方法,包括模型壓縮、高效預訓練、高效微調、高效推理和高效模型架構設計。
1. 壓縮模型 在機器學習領域,模型的大小通常是重要的考量。大型的模型往往需要更多的儲存空間和運算資源,而且在行動裝置上運行時可能會遇到限制。因此,壓縮模型是常用的技術,可以減少模型的大小
模型壓縮技術主要分為四類:量化、參數剪枝、低秩估計和知識蒸餾(參見下圖),其中量化會把模型的權重或者激活值從高精度壓縮到低精度,參數剪枝會搜索並刪除模型權重中較為冗餘的部分,低秩估計會將模型的權重矩陣轉換為若干低秩小矩陣的乘積,知識蒸餾則是直接用大模型來訓練小模型,使得小模型在做某些任務的時候具有取代大模型的能力。
2. 高效能預訓練
#預訓練LLMs 的成本非常昂貴。高效預訓練旨在提高效率並降低 LLMs 預訓練過程的成本。高效能預訓練又可分為混合精度加速、模型縮放、初始化技術、最佳化策略和系統層級的加速。
混合精度加速透過使用低精度權重計算梯度、權重和激活值,然後在將其轉換回高精度並應用於更新原始權重,從而提高預訓練的效率。模型縮放透過使用小型模型的參數來擴展到大型模型,加速預訓練的收斂並降低訓練成本。初始化技術透過設計模型的初始化取值來加快模型的收斂速度。最佳化策略是重在設計輕量的最佳化器來降低模型訓練過程中的記憶體消耗,系統層級的加速則是透過分散式等技術來從系統層面加速模型的預訓練。
3. 高效能微調
高效能微調旨在提高LLMs 微調過程的效率。常見的高效微調技術分為了兩類,一類是基於參數高效的微調,一類是基於記憶體高效的微調。
基於參數高效能微調(PEFT)的目標是透過凍結整個 LLM 主幹,僅更新一小組額外的參數,將 LLM 調整到下游任務。在論文中,我們又將 PEFT 詳細分成了基於適配器的微調、低秩適配、前綴微調和提示詞微調。
基於記憶體的高效微調則是重在降低整個 LLM 微調過程中的記憶體消耗,例如減少最佳化器狀態和啟動值等消耗的記憶體。
4. 高效能推理
高效推理旨在提高LLMs 推理過程的效率。研究者將常見的高效推理技術分成了兩大類,一類是演算法層級的推理加速,一類是系統層級的推理加速。
演算法層級的推理加速又可以分成兩類:投機解碼和 KV - 快取最佳化。投機解碼透過使用較小的草稿模型並行計算令牌,為較大目標模型建立猜測性前綴,從而加速取樣過程。 KV - 快取最佳化指的是最佳化在 LLMs 推理過程中 Key-Value(KV)對的重複計算。
系統層級的推理加速則是在指定硬體上最佳化記憶體存取次數,增大演算法並行量等來加速 LLM 的推理。
5. 高效能模型架構設計
對LLMs 進行高效架構設計是指透過策略性優化模型結構和計算過程,以提高效能和可擴展性,同時最小化資源消耗。我們將高效率的模型架構設計依據模型的種類分成了四大類:高效注意力模組、混合專家模型、長文本大模型以及可取代 transformer 的架構。
高效注意力模組旨在優化注意力模組中的複雜計算及記憶體佔用,混合專家模型(MoE)則是透過將LLMs 的某些模組的推理決策使用多個小的專家模型來替代從而達到整體的稀疏化,長文本大模型是專門設計來高效處理超長文本的LLMs, 可替代transformer 的架構則是透過重新設計模型架構,來降低模型的複雜度並達到後transformer 架構相當的推理能力。
以資料為中心
#以資料為中心方法著重於資料的品質和結構在提高LLMs 效率方面的作用。研究者在本文中詳細討論了兩類以資料為中心的方法,包括資料選擇和提示詞工程。
1. 資料選擇
#LLMs 的資料選擇旨在對預訓練/微調數據進行清洗和選擇,例如移除冗餘和無效數據,達到加快訓練過程的目的。
2. 提示字工程
#提示字工程透過設計有效的輸入(提示字)來引導LLMs產生期望的輸出,它的高效之處在於可以透過設計提示詞,來達到和經過將繁瑣的微調相當的模型表現。研究者將常見的的提示詞工程技術分成了三大類:少樣本的提示詞工程、提示詞壓縮和提示詞生成。
少樣本的提示詞工程透過向 LLM 提供有限的範例集以引導其對需要執行的任務進行理解。提示詞壓縮是透過壓縮冗長的提示輸入或學習和使用提示表示,加速 LLMs 對輸入的處理。提示詞產生旨在自動建立有效的提示,引導模型產生具體且相關的回應,而不是使用手動標註的資料。
以框架為中心
研究者調查了近來較為流行的高效LLMs 框架,並列舉了它們所能優化的高效任務,包括預訓練、微調和推理(如下圖)。
總結
#在這份調查中,研究者為大家提供了一份關於高效LLMs 的系統性回顧,這是一個致力於使LLMs 更加民主化的重要研究領域。他們一開始就解釋了為什麼需要高效 LLMs。在一個有序的框架下,本文分別從以模型的中心、以資料的中心和以框架為中心的角度分別調查了 LLMs 的演算法層面和系統層面的高效技術。
研究者相信,在 LLMs 和以 LLMs 為導向的系統中,效率將發揮越來越重要的作用。他們希望這份調查能幫助研究人員和實踐者迅速進入這一領域,並成為激發新的高效 LLMs 研究的催化劑。
以上是深入探討模型、資料與架構:一份詳盡的54頁高效能大語言模型綜述的詳細內容。更多資訊請關注PHP中文網其他相關文章!

在約翰·羅爾斯1971年具有開創性的著作《正義論》中,他提出了一種思想實驗,我們應該將其作為當今人工智能設計和使用決策的核心:無知的面紗。這一理念為理解公平提供了一個簡單的工具,也為領導者如何利用這種理解來公平地設計和實施人工智能提供了一個藍圖。 設想一下,您正在為一個新的社會制定規則。但有一個前提:您事先不知道自己在這個社會中將扮演什麼角色。您最終可能富有或貧窮,健康或殘疾,屬於多數派或邊緣少數群體。在這種“無知的面紗”下運作,可以防止規則制定者做出有利於自身的決策。相反,人們會更有動力製定公

許多公司專門從事機器人流程自動化(RPA),提供機器人以使重複的任務自動化 - UIPATH,在任何地方自動化,藍色棱鏡等。 同時,過程採礦,編排和智能文檔處理專業

AI的未來超越了簡單的單詞預測和對話模擬。 AI代理人正在出現,能夠獨立行動和任務完成。 這種轉變已經在諸如Anthropic的Claude之類的工具中很明顯。 AI代理:研究

快速的技術進步需要對工作未來的前瞻性觀點。 當AI超越生產力並開始塑造我們的社會結構時,會發生什麼? Topher McDougal即將出版的書Gaia Wakes:

產品分類通常涉及復雜的代碼,例如諸如統一系統(HS)等系統的“ HS 8471.30”,對於國際貿易和國內銷售至關重要。 這些代碼確保正確的稅收申請,影響每個INV

數據中心能源消耗與氣候科技投資的未來 本文探討了人工智能驅動的數據中心能源消耗激增及其對氣候變化的影響,並分析了應對這一挑戰的創新解決方案和政策建議。 能源需求的挑戰: 大型超大規模數據中心耗電量巨大,堪比數十萬個普通北美家庭的總和,而新興的AI超大規模中心耗電量更是數十倍於此。 2024年前八個月,微軟、Meta、谷歌和亞馬遜在AI數據中心建設和運營方面的投資已達約1250億美元(摩根大通,2024)(表1)。 不斷增長的能源需求既是挑戰也是機遇。據Canary Media報導,迫在眉睫的電

生成式AI正在徹底改變影視製作。 Luma的Ray 2模型,以及Runway的Gen-4、OpenAI的Sora、Google的Veo等眾多新模型,正在以前所未有的速度提升生成視頻的質量。這些模型能夠輕鬆製作出複雜的特效和逼真的場景,甚至連短視頻剪輯和具有攝像機感知的運動效果也已實現。雖然這些工具的操控性和一致性仍有待提高,但其進步速度令人驚嘆。 生成式視頻正在成為一種獨立的媒介形式。一些模型擅長動畫製作,另一些則擅長真人影像。值得注意的是,Adobe的Firefly和Moonvalley的Ma

ChatGPT用户体验下降:是模型退化还是用户期望? 近期,大量ChatGPT付费用户抱怨其性能下降,引发广泛关注。 用户报告称模型响应速度变慢,答案更简短、缺乏帮助,甚至出现更多幻觉。一些用户在社交媒体上表达了不满,指出ChatGPT变得“过于讨好”,倾向于验证用户观点而非提供批判性反馈。 这不仅影响用户体验,也给企业客户带来实际损失,例如生产力下降和计算资源浪费。 性能下降的证据 许多用户报告了ChatGPT性能的显著退化,尤其是在GPT-4(即将于本月底停止服务)等旧版模型中。 这


熱AI工具

Undresser.AI Undress
人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool
免費脫衣圖片

Clothoff.io
AI脫衣器

Video Face Swap
使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱門文章

熱工具

MinGW - Minimalist GNU for Windows
這個專案正在遷移到osdn.net/projects/mingw的過程中,你可以繼續在那裡關注我們。 MinGW:GNU編譯器集合(GCC)的本機Windows移植版本,可自由分發的導入函式庫和用於建置本機Windows應用程式的頭檔;包括對MSVC執行時間的擴展,以支援C99功能。 MinGW的所有軟體都可以在64位元Windows平台上運作。

SublimeText3 英文版
推薦:為Win版本,支援程式碼提示!

SublimeText3 Linux新版
SublimeText3 Linux最新版

SublimeText3 Mac版
神級程式碼編輯軟體(SublimeText3)

Atom編輯器mac版下載
最受歡迎的的開源編輯器