搜尋
首頁科技週邊人工智慧微軟最新研究探索LLM修剪和知識復原的LoRAShear技術

微軟最新研究探索LLM修剪和知識復原的LoRAShear技術

Nov 13, 2023 pm 05:37 PM
人工智慧lorashear語言模型模型

LoRAShear是微軟為優化語言模型模型(llm)和保存知識而開發的一種新方法。它可以進行結構性修剪,減少計算需求並提高效率。

微軟最新研究探索LLM修剪和知識復原的LoRAShear技術

LHSPG技術(Lora Half-Space Projected Gradient)支援漸進式結構化剪枝和動態知識復原。可以透過依賴圖分析和稀疏度最佳化應用於各種LLM

LoRAPrune將LoRA與迭代結構化修剪結合,以實現參數的高效微調。即使在LLAMA v1上進行了大量修剪,其性能仍能保持相當水平

微軟最新研究探索LLM修剪和知識復原的LoRAShear技術

#在不斷發展的人工智慧領域,語言模型模型( llm)已成為處理大量文字資料、快速檢索相關資訊和增強知識可存取性的關鍵工具。它們的深遠影響跨越了各個領域,從增強搜尋引擎和問答系統到啟用數據分析,研究人員、專業人員和知識尋求者都從中獲益。

目前最大的問題是,LLM需要不斷更新知識以滿足資訊的動態性要求。一般情況下,開發人員會使用特定領域的資料對預訓練模型進行微調,以保持其最新狀態,並向模型灌輸最新的見解。定期更新對於組織和研究人員來說是至關重要的,以確保LLM與不斷變化的資訊景觀保持同步。然而,微調的成本很高且週期長

為了應對這一迫切需要,微軟的研究人員推出了一種開創性的方法——LoRAShear。這種創新的方法不僅簡化了llm,而且促進了結構知識的恢復。結構修剪的核心是去除或減少神經網路架構中的特定元件,優化效率、緊湊性和運算需求。

微軟的LoRAShear使用了LHSPG技術,以支援漸進式結構化修剪。這種方法可以在LoRA模組之間無縫傳遞知識,並且還整合了動態知識恢復階段。微調過程類似於預訓練和指導微調,以確保LLM保持更新和相關性

#重新寫成:利用依賴圖分析,LoRAShear可以擴展到一般的llm,尤其是在LoRA模組的支援範圍內。該方法使用原始LLM和LoRA模組創建依賴關係圖,並引入了一種結構化稀疏性優化演算法,該演算法利用LoRA模組的資訊來增強權重更新過程中的知識保存

在論文中,也提到了一種稱為LoRAPrune的整合技術,它將LoRA與迭代結構化修剪相結合,以實現參數的高效微調和直接硬體加速。這種節省記憶體的方法完全依賴LoRA的權重和梯度來進行修剪標準。具體的過程包括建立一個追蹤圖,確定需要壓縮的節點組,劃分可訓練的變量,並最終將它們返回給LLM

論文通過在開源LLAMAv1上的實現,證明了LoRAShear的有效性。值得注意的是,修剪了20%的LLAMAv1只有1%的性能損失,而修剪了50%的模型在評估基準上保留了82%的性能。

LoRAShear代表了人工智慧領域的重大進步。它不僅簡化了LLM的使用方式,使其更有效率,而且確保了關鍵知識的保存。它可以使人工智慧驅動的應用程式能夠在優化運算資源的同時,與不斷發展的資訊環境保持同步。隨著組織越來越依賴人工智慧進行資料處理和知識檢索,像LoRAShear這樣的解決方案將在市場上發揮關鍵作用,提供效率和知識彈性。

論文網址:https://arxiv.org/abs/2310.18356

以上是微軟最新研究探索LLM修剪和知識復原的LoRAShear技術的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述
本文轉載於:51CTO.COM。如有侵權,請聯絡admin@php.cn刪除
外推指南外推指南Apr 15, 2025 am 11:38 AM

介紹 假設有一個農民每天在幾週內觀察農作物的進展。他研究了增長率,並開始思考他的植物在幾週內可以生長的高度。從Th

軟AI的興起及其對當今企業的意義軟AI的興起及其對當今企業的意義Apr 15, 2025 am 11:36 AM

軟AI(被定義為AI系統,旨在使用近似推理,模式識別和靈活的決策執行特定的狹窄任務 - 試圖通過擁抱歧義來模仿類似人類的思維。 但是這對業務意味著什麼

為AI前沿的不斷發展的安全框架為AI前沿的不斷發展的安全框架Apr 15, 2025 am 11:34 AM

答案很明確 - 只是雲計算需要向雲本地安全工具轉變,AI需要專門為AI獨特需求而設計的新型安全解決方案。 雲計算和安全課程的興起 在

生成AI的3種方法放大了企業家:當心平均值!生成AI的3種方法放大了企業家:當心平均值!Apr 15, 2025 am 11:33 AM

企業家,並使用AI和Generative AI來改善其業務。同時,重要的是要記住生成的AI,就像所有技術一樣,都是一個放大器 - 使得偉大和平庸,更糟。嚴格的2024研究O

Andrew Ng的新簡短課程Andrew Ng的新簡短課程Apr 15, 2025 am 11:32 AM

解鎖嵌入模型的力量:深入研究安德魯·NG的新課程 想像一個未來,機器可以完全準確地理解和回答您的問題。 這不是科幻小說;多虧了AI的進步,它已成為R

大語言模型(LLM)中的幻覺是不可避免的嗎?大語言模型(LLM)中的幻覺是不可避免的嗎?Apr 15, 2025 am 11:31 AM

大型語言模型(LLM)和不可避免的幻覺問題 您可能使用了諸如Chatgpt,Claude和Gemini之類的AI模型。 這些都是大型語言模型(LLM)的示例,在大規模文本數據集上訓練的功能強大的AI系統

60%的問題 -  AI搜索如何消耗您的流量60%的問題 - AI搜索如何消耗您的流量Apr 15, 2025 am 11:28 AM

最近的研究表明,根據行業和搜索類型,AI概述可能導致有機交通下降15-64%。這種根本性的變化導致營銷人員重新考慮其在數字可見性方面的整個策略。 新的

麻省理工學院媒體實驗室將人類蓬勃發展成為AI R&D的核心麻省理工學院媒體實驗室將人類蓬勃發展成為AI R&D的核心Apr 15, 2025 am 11:26 AM

埃隆大學(Elon University)想像的數字未來中心的最新報告對近300名全球技術專家進行了調查。由此產生的報告“ 2035年成為人類”,得出的結論是,大多數人擔心AI系統加深的採用

See all articles

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

AI Hentai Generator

AI Hentai Generator

免費產生 AI 無盡。

熱門文章

R.E.P.O.能量晶體解釋及其做什麼(黃色晶體)
4 週前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.最佳圖形設置
4 週前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.如果您聽不到任何人,如何修復音頻
4 週前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.聊天命令以及如何使用它們
4 週前By尊渡假赌尊渡假赌尊渡假赌

熱工具

mPDF

mPDF

mPDF是一個PHP庫,可以從UTF-8編碼的HTML產生PDF檔案。原作者Ian Back編寫mPDF以從他的網站上「即時」輸出PDF文件,並處理不同的語言。與原始腳本如HTML2FPDF相比,它的速度較慢,並且在使用Unicode字體時產生的檔案較大,但支援CSS樣式等,並進行了大量增強。支援幾乎所有語言,包括RTL(阿拉伯語和希伯來語)和CJK(中日韓)。支援嵌套的區塊級元素(如P、DIV),

Atom編輯器mac版下載

Atom編輯器mac版下載

最受歡迎的的開源編輯器

EditPlus 中文破解版

EditPlus 中文破解版

體積小,語法高亮,不支援程式碼提示功能

PhpStorm Mac 版本

PhpStorm Mac 版本

最新(2018.2.1 )專業的PHP整合開發工具

WebStorm Mac版

WebStorm Mac版

好用的JavaScript開發工具