搜尋
首頁科技週邊人工智慧微軟最新研究探索LLM修剪和知識復原的LoRAShear技術

微軟最新研究探索LLM修剪和知識復原的LoRAShear技術

Nov 13, 2023 pm 05:37 PM
人工智慧lorashear語言模型模型

LoRAShear是微軟為優化語言模型模型(llm)和保存知識而開發的一種新方法。它可以進行結構性修剪,減少計算需求並提高效率。

微軟最新研究探索LLM修剪和知識復原的LoRAShear技術

LHSPG技術(Lora Half-Space Projected Gradient)支援漸進式結構化剪枝和動態知識復原。可以透過依賴圖分析和稀疏度最佳化應用於各種LLM

LoRAPrune將LoRA與迭代結構化修剪結合,以實現參數的高效微調。即使在LLAMA v1上進行了大量修剪,其性能仍能保持相當水平

微軟最新研究探索LLM修剪和知識復原的LoRAShear技術

#在不斷發展的人工智慧領域,語言模型模型( llm)已成為處理大量文字資料、快速檢索相關資訊和增強知識可存取性的關鍵工具。它們的深遠影響跨越了各個領域,從增強搜尋引擎和問答系統到啟用數據分析,研究人員、專業人員和知識尋求者都從中獲益。

目前最大的問題是,LLM需要不斷更新知識以滿足資訊的動態性要求。一般情況下,開發人員會使用特定領域的資料對預訓練模型進行微調,以保持其最新狀態,並向模型灌輸最新的見解。定期更新對於組織和研究人員來說是至關重要的,以確保LLM與不斷變化的資訊景觀保持同步。然而,微調的成本很高且週期長

為了應對這一迫切需要,微軟的研究人員推出了一種開創性的方法——LoRAShear。這種創新的方法不僅簡化了llm,而且促進了結構知識的恢復。結構修剪的核心是去除或減少神經網路架構中的特定元件,優化效率、緊湊性和運算需求。

微軟的LoRAShear使用了LHSPG技術,以支援漸進式結構化修剪。這種方法可以在LoRA模組之間無縫傳遞知識,並且還整合了動態知識恢復階段。微調過程類似於預訓練和指導微調,以確保LLM保持更新和相關性

#重新寫成:利用依賴圖分析,LoRAShear可以擴展到一般的llm,尤其是在LoRA模組的支援範圍內。該方法使用原始LLM和LoRA模組創建依賴關係圖,並引入了一種結構化稀疏性優化演算法,該演算法利用LoRA模組的資訊來增強權重更新過程中的知識保存

在論文中,也提到了一種稱為LoRAPrune的整合技術,它將LoRA與迭代結構化修剪相結合,以實現參數的高效微調和直接硬體加速。這種節省記憶體的方法完全依賴LoRA的權重和梯度來進行修剪標準。具體的過程包括建立一個追蹤圖,確定需要壓縮的節點組,劃分可訓練的變量,並最終將它們返回給LLM

論文通過在開源LLAMAv1上的實現,證明了LoRAShear的有效性。值得注意的是,修剪了20%的LLAMAv1只有1%的性能損失,而修剪了50%的模型在評估基準上保留了82%的性能。

LoRAShear代表了人工智慧領域的重大進步。它不僅簡化了LLM的使用方式,使其更有效率,而且確保了關鍵知識的保存。它可以使人工智慧驅動的應用程式能夠在優化運算資源的同時,與不斷發展的資訊環境保持同步。隨著組織越來越依賴人工智慧進行資料處理和知識檢索,像LoRAShear這樣的解決方案將在市場上發揮關鍵作用,提供效率和知識彈性。

論文網址:https://arxiv.org/abs/2310.18356

以上是微軟最新研究探索LLM修剪和知識復原的LoRAShear技術的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述
本文轉載於:51CTO.COM。如有侵權,請聯絡admin@php.cn刪除
AI動作人物趨勢,解釋 - 以及如何製作自己的AI動作人物趨勢,解釋 - 以及如何製作自己的Apr 16, 2025 am 11:22 AM

Openai推出了由GPT-40提供動力的新圖像生成器後,這種病毒熱潮立即吸引了渴望實驗的用戶。創建自己或其他任何人的玩具版本(包括寵物,是的),類似地工作:uplo

6個CHATGPT提示獲得增強品牌的播客邀請函6個CHATGPT提示獲得增強品牌的播客邀請函Apr 16, 2025 am 11:16 AM

許多企業主圍坐在等待永遠不會到達的邀請,因為獲得播客面試需要策略和一致的行動。今天採取行動。 這些提示將使您成為完美的客人,並降落這些職業

5強大的AI提示可以提高任何業務想法5強大的AI提示可以提高任何業務想法Apr 16, 2025 am 11:11 AM

幸運的是,這是一個生成AI的領域,可以非常有幫助。不,它不會帶來萬無一失的策略。但這可以幫助您集思廣益,研究市場以及微調營銷內容和消息傳遞。 不是

Smart研究生:AI時代的職業建議Smart研究生:AI時代的職業建議Apr 16, 2025 am 11:10 AM

只有今年只有不同。不確定。 關稅戰爭正在進行中,這不僅僅是事實。 AI是最近抓撓和靈魂搜索的根本原因。國家青年慈善機構最近對

有效的加速主義或親社會AI。 AI的未來是什麼?有效的加速主義或親社會AI。 AI的未來是什麼?Apr 16, 2025 am 11:09 AM

加速主義者的願景:全速前進 有效的加速度,即短期內被稱為E/ACC,在2022年左右出現,是一種技術優越的運動,在矽谷及其他地區的核心中獲得了巨大的吸引力,其核心,E/ACC提倡快速,

Excel中的相對,絕對和混合參考是什麼?Excel中的相對,絕對和混合參考是什麼?Apr 16, 2025 am 11:03 AM

介紹 我最初的電子表格經歷令人沮喪,因為複制時公式的行為不可預測。 那時我不了解細胞引用,但是掌握親戚,絕對和混合的參考文獻徹底改變了我的廣播。

Word2Vec的智能主題電子郵件線生成Word2Vec的智能主題電子郵件線生成Apr 16, 2025 am 11:01 AM

本文演示瞭如何使用Word2Vec嵌入生成有效的電子郵件主題行。 它可以指導您建立一個利用語義相似性來創建上下文相關主題行,改善電子郵件營銷的系統

數據分析師的未來數據分析師的未來Apr 16, 2025 am 11:00 AM

數據分析:導航不斷發展的景觀 想像一個世界,數據不僅是數字,而且是每個管理決定的基石。 在這個動態的環境中,數據分析師是必不可少的,將原始數據轉換為可操作的

See all articles

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

AI Hentai Generator

AI Hentai Generator

免費產生 AI 無盡。

熱門文章

R.E.P.O.能量晶體解釋及其做什麼(黃色晶體)
4 週前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.最佳圖形設置
4 週前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.如果您聽不到任何人,如何修復音頻
4 週前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.聊天命令以及如何使用它們
4 週前By尊渡假赌尊渡假赌尊渡假赌

熱工具

SAP NetWeaver Server Adapter for Eclipse

SAP NetWeaver Server Adapter for Eclipse

將Eclipse與SAP NetWeaver應用伺服器整合。

Dreamweaver CS6

Dreamweaver CS6

視覺化網頁開發工具

禪工作室 13.0.1

禪工作室 13.0.1

強大的PHP整合開發環境

EditPlus 中文破解版

EditPlus 中文破解版

體積小,語法高亮,不支援程式碼提示功能

MinGW - Minimalist GNU for Windows

MinGW - Minimalist GNU for Windows

這個專案正在遷移到osdn.net/projects/mingw的過程中,你可以繼續在那裡關注我們。 MinGW:GNU編譯器集合(GCC)的本機Windows移植版本,可自由分發的導入函式庫和用於建置本機Windows應用程式的頭檔;包括對MSVC執行時間的擴展,以支援C99功能。 MinGW的所有軟體都可以在64位元Windows平台上運作。