OTO 是業界首個自動化、一站式、使用者友好且通用的神經網路訓練與結構壓縮框架。
在人工智慧時代,如何部署和維護神經網路是產品化的關鍵問題考慮到節省運算成本,同時盡可能小地損失模型效能,壓縮神經網路成為了DNN 產品化的關鍵之一。
DNN 壓縮通常來說有三種方式,剪枝,知識蒸餾和量化。剪枝旨在識別並去除冗餘結構,給 DNN 瘦身的同時盡可能地保持模型性能,是最通用且有效的壓縮方法。三種方法通常來講可以相輔相成,共同作用來達到最佳的壓縮效果。
然而現存的剪枝方法大都只針對特定模型,特定任務,且需要很強的專業領域知識,因此通常需要AI 開發人員花費大量的精力才能將這些方法應用於自己的場景中,非常消耗人力物力成本。
OTO 概述
為了解決現存剪枝方法的問題並給 AI 開發者提供便利,微軟團隊提出了 Only-Train-Once OTO 框架。 OTO 是業界首個自動化、一站式、使用者友好且通用的神經網路訓練與結構壓縮框架,系列工作陸續發表於 ICLR2023 和 NeurIPS2021。
透過使用 OTO,AI 工程師可以輕鬆地訓練目標神經網絡,一站式地取得高效能且輕量化的模型。 OTO 最小化了開發者的工程時間精力的投入,且全程無需現有方法通常需要的非常耗時的預訓練和額外的模型微調。
- 論文連結:
- OTOv2 ICLR 2023: https://openreview.net/pdf?id=7ynoX1ojPMt
- OTOv1 NeurIPS 2021:https://proceedings .neurips.cc/paper_files/paper/2021/file/a376033f78e144f494bfc743c0be3330-Paper.pdf
- #程式碼連結:
https://github.com/tianyic/only 框架核心演算法
理想化的結構剪枝演算法應該做到:針對通用神經網絡,自動化地一站式地從零開始訓練,同時達到高性能且輕量化的模型,並無需後續微調。但因為神經網路的複雜性,要實現這個目標是一件極為有挑戰性的事情。為了實現這個最終目的,以下的三個核心問題需要被系統性地解決:
如何找出哪些網路結構可以移除?- 如何在移除網路結構的過程中,盡可能不損失模型效能?
- 如何能自動化地完成如前兩點?
- 微軟團隊設計並實現了三套核心演算法,首次系統性地,全面性地解決這三個核心問題。
由於網路結構的複雜性和關聯性,刪除任意網路結構可能會導致剩餘的網路結構無效。因此自動化網路結構壓縮的一個最大的問題之一是如何找到必須一起剪枝的模型參數,使得餘下的網路仍然有效。為了解決這個問題,微軟團隊在 OTOv1 中提出了零不變組 Zero-Invariant Groups (ZIGs)。零不變組可以理解為一類最小的可移除單元,使得該組對應的網路結構移除後剩餘網路依然有效。零不變組的另一個主要特性是,如果一個零不變組等於零,那麼無論輸入值是什麼,輸出值永遠是零。在 OTOv2 中,研究者進一步提出並實作了一套自動化演算法來解決通用網路的零不變組的分組問題。自動化分組演算法是由一系列圖演算法精心設計組合而成,整套演算法非常高效,具有線性的時間空間複雜度。
當分割目標網路所有的零不變組後,接下來的模型訓練和剪枝任務需要找出哪些零不變組是冗餘的,哪些又是重要的。冗餘的零不變組對應的網路結構需要被刪除,重要的零不變組需要保留並確保壓縮模型的效能。研究者公式化這個問題為一個結構性稀疏化問題,並提出全新的 Dual Half-Space Projected Gradient (DHSPG) 最佳化演算法來解決。
DHSPG 可以非常有效地找出冗餘的零不變組並將其投影成零,並持續訓練重要的零不變組來取得跟原始模型相媲美的性能。
與傳統稀疏優化演算法相比,DHSPG 具有更強更穩定地稀疏結構探索能力,且擴展了訓練搜尋空間並因此通常要獲得更高的實際表現效果。
自動化建立輕量壓縮模型
#透過使用DHSPG 對模型進行訓練,我們會得到一個服從於零不變組的高結構稀疏性的解,即該解裡面有很多被投影成零的零不變組,此外該解還會具有很高的模型性能。接下來,研究者把所有對應與冗餘零不變組的結構刪除來自動化地建構壓縮網路。由於零不變組的特性,即如果一個零不變組等於零,那麼無論輸入值是什麼,輸出值永遠是零,因此刪除冗餘的零不變組不會對網路產生任何影響。所以透過 OTO 得到的壓縮網路和完整網路會有相同的輸出,無需傳統方法所需的進一步模型微調。
數值實驗
分類任務
表1:CIFAR10 中的VGG16 及VGG16- BN 模型表現
在CIFAR10 的VGG16 實驗中,OTO 將浮點數減少了86.6%,將參數量減少了97.5%,效能表現令人印象深刻。
表2:CIFAR10 的ResNet50 實驗
在CIFAR10 的ResNet50 實驗中,OTO 在沒有量化的情況下優於SOTA 神經網路壓迫框架AMC 和ANNC,僅使用了7.8% 的FLOPs 和4.1% 的參數。
表3. ImageNet 的ResNet50 實驗
在ImageNet 的ResNet50 實驗中,OTOv2 在不同結構稀疏化目標下,展現出跟現存SOTA 方法相媲美甚至更優的表現。
表4: 更多結構與資料集
OTO 也在更多的資料集和模型結構上取得了不錯的表現。
Low-Level Vision 任務
#表4:CARNx2 的實驗
#在super-resolution 的任務中,OTO 一站式訓練壓縮了CARNx2 網絡,得到了跟原始模型有競爭力的性能且壓縮了越75% 的運算量和模型大小。
語言模型任務
此外,研究者在Bert 上也針對核心演算法之一,DHSPG 最佳化演算法,進行了對比試驗,驗證了其相較於其他稀疏最佳化演算法的高效能性。可以發現在 Squad 上,利用 DHSPG 進行訓練所得到的參數量減少和模型性能要遠遠優於其他稀疏優化演算法。
結論
微軟團隊提出了一個名為 OTO(Only-Train-Once)的 自動化一站式神經網路訓練結構剪枝框架。它可以將一個完整的神經網路自動化地壓縮為輕量級網絡,同時保持較高的效能。 OTO 大幅簡化了現有結構剪枝方法複雜的多階段流程,適合各類網路架構和應用,且最小化了使用者的額外工程投入,具有通用性,有效性和易用性。
以上是微軟提出自動化神經網路訓練剪枝框架OTO,一站式取得高效能輕量化模型的詳細內容。更多資訊請關注PHP中文網其他相關文章!

輕鬆在家運行大型語言模型:LM Studio 使用指南 近年來,軟件和硬件的進步使得在個人電腦上運行大型語言模型 (LLM) 成為可能。 LM Studio 就是一個讓這一過程變得輕鬆便捷的優秀工具。本文將深入探討如何使用 LM Studio 在本地運行 LLM,涵蓋關鍵步驟、潛在挑戰以及在本地擁有 LLM 的優勢。無論您是技術愛好者還是對最新 AI 技術感到好奇,本指南都將提供寶貴的見解和實用技巧。讓我們開始吧! 概述 了解在本地運行 LLM 的基本要求。 在您的電腦上設置 LM Studi

蓋伊·佩里(Guy Peri)是麥考密克(McCormick)的首席信息和數字官。儘管他的角色僅七個月,但Peri正在迅速促進公司數字能力的全面轉變。他的職業生涯專注於數據和分析信息

介紹 人工智能(AI)不僅要理解單詞,而且要理解情感,從而以人的觸感做出反應。 這種複雜的互動對於AI和自然語言處理的快速前進的領域至關重要。 Th

介紹 在當今以數據為中心的世界中,利用先進的AI技術對於尋求競爭優勢和提高效率的企業至關重要。 一系列強大的工具使數據科學家,分析師和開發人員都能構建,Depl

本週的AI景觀爆炸了,來自Openai,Mistral AI,Nvidia,Deepseek和Hugging Face等行業巨頭的開創性發行。 這些新型號有望提高功率,負擔能力和可訪問性,這在TR的進步中推動了

但是,該公司的Android應用不僅提供搜索功能,而且還充當AI助手,並充滿了許多安全問題,可以將其用戶暴露於數據盜用,帳戶收購和惡意攻擊中

您可以查看會議和貿易展覽中正在發生的事情。您可以詢問工程師在做什麼,或諮詢首席執行官。 您看的任何地方,事情都以驚人的速度發生變化。 工程師和非工程師 有什麼區別

模擬火箭發射的火箭發射:綜合指南 本文指導您使用強大的Python庫Rocketpy模擬高功率火箭發射。 我們將介紹從定義火箭組件到分析模擬的所有內容


熱AI工具

Undresser.AI Undress
人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool
免費脫衣圖片

Clothoff.io
AI脫衣器

AI Hentai Generator
免費產生 AI 無盡。

熱門文章

熱工具

MinGW - Minimalist GNU for Windows
這個專案正在遷移到osdn.net/projects/mingw的過程中,你可以繼續在那裡關注我們。 MinGW:GNU編譯器集合(GCC)的本機Windows移植版本,可自由分發的導入函式庫和用於建置本機Windows應用程式的頭檔;包括對MSVC執行時間的擴展,以支援C99功能。 MinGW的所有軟體都可以在64位元Windows平台上運作。

SublimeText3漢化版
中文版,非常好用

EditPlus 中文破解版
體積小,語法高亮,不支援程式碼提示功能

Atom編輯器mac版下載
最受歡迎的的開源編輯器

禪工作室 13.0.1
強大的PHP整合開發環境