搜尋
首頁科技週邊人工智慧微軟最新研究探索LLM修剪和知識復原的LoRAShear技術

微軟最新研究探索LLM修剪和知識復原的LoRAShear技術

Nov 13, 2023 pm 05:37 PM
人工智慧lorashear語言模型模型

LoRAShear是微軟為優化語言模型模型(llm)和保存知識而開發的一種新方法。它可以進行結構性修剪,減少計算需求並提高效率。

微軟最新研究探索LLM修剪和知識復原的LoRAShear技術

LHSPG技術(Lora Half-Space Projected Gradient)支援漸進式結構化剪枝和動態知識復原。可以透過依賴圖分析和稀疏度最佳化應用於各種LLM

LoRAPrune將LoRA與迭代結構化修剪結合,以實現參數的高效微調。即使在LLAMA v1上進行了大量修剪,其性能仍能保持相當水平

微軟最新研究探索LLM修剪和知識復原的LoRAShear技術

#在不斷發展的人工智慧領域,語言模型模型( llm)已成為處理大量文字資料、快速檢索相關資訊和增強知識可存取性的關鍵工具。它們的深遠影響跨越了各個領域,從增強搜尋引擎和問答系統到啟用數據分析,研究人員、專業人員和知識尋求者都從中獲益。

目前最大的問題是,LLM需要不斷更新知識以滿足資訊的動態性要求。一般情況下,開發人員會使用特定領域的資料對預訓練模型進行微調,以保持其最新狀態,並向模型灌輸最新的見解。定期更新對於組織和研究人員來說是至關重要的,以確保LLM與不斷變化的資訊景觀保持同步。然而,微調的成本很高且週期長

為了應對這一迫切需要,微軟的研究人員推出了一種開創性的方法——LoRAShear。這種創新的方法不僅簡化了llm,而且促進了結構知識的恢復。結構修剪的核心是去除或減少神經網路架構中的特定元件,優化效率、緊湊性和運算需求。

微軟的LoRAShear使用了LHSPG技術,以支援漸進式結構化修剪。這種方法可以在LoRA模組之間無縫傳遞知識,並且還整合了動態知識恢復階段。微調過程類似於預訓練和指導微調,以確保LLM保持更新和相關性

#重新寫成:利用依賴圖分析,LoRAShear可以擴展到一般的llm,尤其是在LoRA模組的支援範圍內。該方法使用原始LLM和LoRA模組創建依賴關係圖,並引入了一種結構化稀疏性優化演算法,該演算法利用LoRA模組的資訊來增強權重更新過程中的知識保存

在論文中,也提到了一種稱為LoRAPrune的整合技術,它將LoRA與迭代結構化修剪相結合,以實現參數的高效微調和直接硬體加速。這種節省記憶體的方法完全依賴LoRA的權重和梯度來進行修剪標準。具體的過程包括建立一個追蹤圖,確定需要壓縮的節點組,劃分可訓練的變量,並最終將它們返回給LLM

論文通過在開源LLAMAv1上的實現,證明了LoRAShear的有效性。值得注意的是,修剪了20%的LLAMAv1只有1%的性能損失,而修剪了50%的模型在評估基準上保留了82%的性能。

LoRAShear代表了人工智慧領域的重大進步。它不僅簡化了LLM的使用方式,使其更有效率,而且確保了關鍵知識的保存。它可以使人工智慧驅動的應用程式能夠在優化運算資源的同時,與不斷發展的資訊環境保持同步。隨著組織越來越依賴人工智慧進行資料處理和知識檢索,像LoRAShear這樣的解決方案將在市場上發揮關鍵作用,提供效率和知識彈性。

論文網址:https://arxiv.org/abs/2310.18356

以上是微軟最新研究探索LLM修剪和知識復原的LoRAShear技術的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述
本文轉載於:51CTO.COM。如有侵權,請聯絡admin@php.cn刪除
大多數使用的10個功率BI圖 - 分析Vidhya大多數使用的10個功率BI圖 - 分析VidhyaApr 16, 2025 pm 12:05 PM

用Microsoft Power BI圖來利用數據可視化的功能 在當今數據驅動的世界中,有效地將復雜信息傳達給非技術觀眾至關重要。 數據可視化橋接此差距,轉換原始數據i

AI的專家系統AI的專家系統Apr 16, 2025 pm 12:00 PM

專家系統:深入研究AI的決策能力 想像一下,從醫療診斷到財務計劃,都可以訪問任何事情的專家建議。 這就是人工智能專家系統的力量。 這些系統模仿Pro

三個最好的氛圍編碼器分解了這項代碼中的AI革命三個最好的氛圍編碼器分解了這項代碼中的AI革命Apr 16, 2025 am 11:58 AM

首先,很明顯,這種情況正在迅速發生。各種公司都在談論AI目前撰寫的代碼的比例,並且這些代碼的比例正在迅速地增加。已經有很多工作流離失所

跑道AI的Gen-4:AI蒙太奇如何超越荒謬跑道AI的Gen-4:AI蒙太奇如何超越荒謬Apr 16, 2025 am 11:45 AM

從數字營銷到社交媒體的所有創意領域,電影業都站在技術十字路口。隨著人工智能開始重塑視覺講故事的各個方面並改變娛樂的景觀

如何註冊5天ISRO AI免費課程? - 分析Vidhya如何註冊5天ISRO AI免費課程? - 分析VidhyaApr 16, 2025 am 11:43 AM

ISRO的免費AI/ML在線課程:通向地理空間技術創新的門戶 印度太空研究組織(ISRO)通過其印度遙感研究所(IIR)為學生和專業人士提供了絕佳的機會

AI中的本地搜索算法AI中的本地搜索算法Apr 16, 2025 am 11:40 AM

本地搜索算法:綜合指南 規劃大規模活動需要有效的工作量分佈。 當傳統方法失敗時,本地搜索算法提供了強大的解決方案。 本文探討了爬山和模擬

OpenAI以GPT-4.1的重點轉移,將編碼和成本效率優先考慮OpenAI以GPT-4.1的重點轉移,將編碼和成本效率優先考慮Apr 16, 2025 am 11:37 AM

該版本包括三種不同的型號,GPT-4.1,GPT-4.1 MINI和GPT-4.1 NANO,標誌著向大語言模型景觀內的特定任務優化邁進。這些模型並未立即替換諸如

提示:chatgpt生成假護照提示:chatgpt生成假護照Apr 16, 2025 am 11:35 AM

Chip Giant Nvidia週一表示,它將開始製造AI超級計算機(可以處理大量數據並運行複雜算法的機器),完全是在美國首次在美國境內。這一消息是在特朗普總統SI之後發布的

See all articles

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

AI Hentai Generator

AI Hentai Generator

免費產生 AI 無盡。

熱門文章

R.E.P.O.能量晶體解釋及其做什麼(黃色晶體)
1 個月前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.最佳圖形設置
1 個月前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.如果您聽不到任何人,如何修復音頻
1 個月前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.聊天命令以及如何使用它們
1 個月前By尊渡假赌尊渡假赌尊渡假赌

熱工具

SAP NetWeaver Server Adapter for Eclipse

SAP NetWeaver Server Adapter for Eclipse

將Eclipse與SAP NetWeaver應用伺服器整合。

Safe Exam Browser

Safe Exam Browser

Safe Exam Browser是一個安全的瀏覽器環境,安全地進行線上考試。該軟體將任何電腦變成一個安全的工作站。它控制對任何實用工具的訪問,並防止學生使用未經授權的資源。

Atom編輯器mac版下載

Atom編輯器mac版下載

最受歡迎的的開源編輯器

Dreamweaver CS6

Dreamweaver CS6

視覺化網頁開發工具

Dreamweaver Mac版

Dreamweaver Mac版

視覺化網頁開發工具