OTO 是業界首個自動化、一站式、使用者友好且通用的神經網路訓練與結構壓縮框架。
在人工智慧時代,如何部署和維護神經網路是產品化的關鍵問題考慮到節省運算成本,同時盡可能小地損失模型效能,壓縮神經網路成為了DNN 產品化的關鍵之一。
DNN 壓縮通常來說有三種方式,剪枝,知識蒸餾和量化。剪枝旨在識別並去除冗餘結構,給 DNN 瘦身的同時盡可能地保持模型性能,是最通用且有效的壓縮方法。三種方法通常來講可以相輔相成,共同作用來達到最佳的壓縮效果。
然而現存的剪枝方法大都只針對特定模型,特定任務,且需要很強的專業領域知識,因此通常需要AI 開發人員花費大量的精力才能將這些方法應用於自己的場景中,非常消耗人力物力成本。
OTO 概述
為了解決現存剪枝方法的問題並給 AI 開發者提供便利,微軟團隊提出了 Only-Train-Once OTO 框架。 OTO 是業界首個自動化、一站式、使用者友好且通用的神經網路訓練與結構壓縮框架,系列工作陸續發表於 ICLR2023 和 NeurIPS2021。
透過使用 OTO,AI 工程師可以輕鬆地訓練目標神經網絡,一站式地取得高效能且輕量化的模型。 OTO 最小化了開發者的工程時間精力的投入,且全程無需現有方法通常需要的非常耗時的預訓練和額外的模型微調。
- 論文連結:
- OTOv2 ICLR 2023: https://openreview.net/pdf?id=7ynoX1ojPMt
- OTOv1 NeurIPS 2021:https://proceedings .neurips.cc/paper_files/paper/2021/file/a376033f78e144f494bfc743c0be3330-Paper.pdf
- #程式碼連結:
https://github.com/tianyic/only 框架核心演算法
理想化的結構剪枝演算法應該做到:針對通用神經網絡,自動化地一站式地從零開始訓練,同時達到高性能且輕量化的模型,並無需後續微調。但因為神經網路的複雜性,要實現這個目標是一件極為有挑戰性的事情。為了實現這個最終目的,以下的三個核心問題需要被系統性地解決:
如何找出哪些網路結構可以移除?- 如何在移除網路結構的過程中,盡可能不損失模型效能?
- 如何能自動化地完成如前兩點?
- 微軟團隊設計並實現了三套核心演算法,首次系統性地,全面性地解決這三個核心問題。
由於網路結構的複雜性和關聯性,刪除任意網路結構可能會導致剩餘的網路結構無效。因此自動化網路結構壓縮的一個最大的問題之一是如何找到必須一起剪枝的模型參數,使得餘下的網路仍然有效。為了解決這個問題,微軟團隊在 OTOv1 中提出了零不變組 Zero-Invariant Groups (ZIGs)。零不變組可以理解為一類最小的可移除單元,使得該組對應的網路結構移除後剩餘網路依然有效。零不變組的另一個主要特性是,如果一個零不變組等於零,那麼無論輸入值是什麼,輸出值永遠是零。在 OTOv2 中,研究者進一步提出並實作了一套自動化演算法來解決通用網路的零不變組的分組問題。自動化分組演算法是由一系列圖演算法精心設計組合而成,整套演算法非常高效,具有線性的時間空間複雜度。
當分割目標網路所有的零不變組後,接下來的模型訓練和剪枝任務需要找出哪些零不變組是冗餘的,哪些又是重要的。冗餘的零不變組對應的網路結構需要被刪除,重要的零不變組需要保留並確保壓縮模型的效能。研究者公式化這個問題為一個結構性稀疏化問題,並提出全新的 Dual Half-Space Projected Gradient (DHSPG) 最佳化演算法來解決。
DHSPG 可以非常有效地找出冗餘的零不變組並將其投影成零,並持續訓練重要的零不變組來取得跟原始模型相媲美的性能。
與傳統稀疏優化演算法相比,DHSPG 具有更強更穩定地稀疏結構探索能力,且擴展了訓練搜尋空間並因此通常要獲得更高的實際表現效果。
自動化建立輕量壓縮模型
#透過使用DHSPG 對模型進行訓練,我們會得到一個服從於零不變組的高結構稀疏性的解,即該解裡面有很多被投影成零的零不變組,此外該解還會具有很高的模型性能。接下來,研究者把所有對應與冗餘零不變組的結構刪除來自動化地建構壓縮網路。由於零不變組的特性,即如果一個零不變組等於零,那麼無論輸入值是什麼,輸出值永遠是零,因此刪除冗餘的零不變組不會對網路產生任何影響。所以透過 OTO 得到的壓縮網路和完整網路會有相同的輸出,無需傳統方法所需的進一步模型微調。
數值實驗
分類任務
表1:CIFAR10 中的VGG16 及VGG16- BN 模型表現
在CIFAR10 的VGG16 實驗中,OTO 將浮點數減少了86.6%,將參數量減少了97.5%,效能表現令人印象深刻。
表2:CIFAR10 的ResNet50 實驗
在CIFAR10 的ResNet50 實驗中,OTO 在沒有量化的情況下優於SOTA 神經網路壓迫框架AMC 和ANNC,僅使用了7.8% 的FLOPs 和4.1% 的參數。
表3. ImageNet 的ResNet50 實驗
在ImageNet 的ResNet50 實驗中,OTOv2 在不同結構稀疏化目標下,展現出跟現存SOTA 方法相媲美甚至更優的表現。
表4: 更多結構與資料集
OTO 也在更多的資料集和模型結構上取得了不錯的表現。
Low-Level Vision 任務
#表4:CARNx2 的實驗
#在super-resolution 的任務中,OTO 一站式訓練壓縮了CARNx2 網絡,得到了跟原始模型有競爭力的性能且壓縮了越75% 的運算量和模型大小。
語言模型任務
此外,研究者在Bert 上也針對核心演算法之一,DHSPG 最佳化演算法,進行了對比試驗,驗證了其相較於其他稀疏最佳化演算法的高效能性。可以發現在 Squad 上,利用 DHSPG 進行訓練所得到的參數量減少和模型性能要遠遠優於其他稀疏優化演算法。
結論
微軟團隊提出了一個名為 OTO(Only-Train-Once)的 自動化一站式神經網路訓練結構剪枝框架。它可以將一個完整的神經網路自動化地壓縮為輕量級網絡,同時保持較高的效能。 OTO 大幅簡化了現有結構剪枝方法複雜的多階段流程,適合各類網路架構和應用,且最小化了使用者的額外工程投入,具有通用性,有效性和易用性。
以上是微軟提出自動化神經網路訓練剪枝框架OTO,一站式取得高效能輕量化模型的詳細內容。更多資訊請關注PHP中文網其他相關文章!

科學家已經廣泛研究了人類和更簡單的神經網絡(如秀麗隱桿線蟲中的神經網絡),以了解其功能。 但是,出現了一個關鍵問題:我們如何使自己的神經網絡與新穎的AI一起有效地工作

Google的雙子座高級:新的訂閱層即將到來 目前,訪問Gemini Advanced需要$ 19.99/月Google One AI高級計劃。 但是,Android Authority報告暗示了即將發生的變化。 最新的Google P中的代碼

儘管圍繞高級AI功能炒作,但企業AI部署中潛伏的巨大挑戰:數據處理瓶頸。首席執行官慶祝AI的進步時,工程師努力應對緩慢的查詢時間,管道超載,一個

處理文檔不再只是在您的AI項目中打開文件,而是將混亂變成清晰度。諸如PDF,PowerPoints和Word之類的文檔以各種形狀和大小淹沒了我們的工作流程。檢索結構化

利用Google的代理開發套件(ADK)的力量創建具有現實世界功能的智能代理!該教程通過使用ADK來構建對話代理,並支持Gemini和GPT等各種語言模型。 w

摘要: 小型語言模型 (SLM) 專為效率而設計。在資源匱乏、實時性和隱私敏感的環境中,它們比大型語言模型 (LLM) 更勝一籌。 最適合專注型任務,尤其是在領域特異性、控制性和可解釋性比通用知識或創造力更重要的情況下。 SLM 並非 LLMs 的替代品,但在精度、速度和成本效益至關重要時,它們是理想之選。 技術幫助我們用更少的資源取得更多成就。它一直是推動者,而非驅動者。從蒸汽機時代到互聯網泡沫時期,技術的威力在於它幫助我們解決問題的程度。人工智能 (AI) 以及最近的生成式 AI 也不例

利用Google雙子座的力量用於計算機視覺:綜合指南 領先的AI聊天機器人Google Gemini擴展了其功能,超越了對話,以涵蓋強大的計算機視覺功能。 本指南詳細說明瞭如何利用

2025年的AI景觀正在充滿活力,而Google的Gemini 2.0 Flash和Openai的O4-Mini的到來。 這些尖端的車型分開了幾週,具有可比的高級功能和令人印象深刻的基準分數。這個深入的比較


熱AI工具

Undresser.AI Undress
人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool
免費脫衣圖片

Clothoff.io
AI脫衣器

Video Face Swap
使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱門文章

熱工具

PhpStorm Mac 版本
最新(2018.2.1 )專業的PHP整合開發工具

ZendStudio 13.5.1 Mac
強大的PHP整合開發環境

DVWA
Damn Vulnerable Web App (DVWA) 是一個PHP/MySQL的Web應用程序,非常容易受到攻擊。它的主要目標是成為安全專業人員在合法環境中測試自己的技能和工具的輔助工具,幫助Web開發人員更好地理解保護網路應用程式的過程,並幫助教師/學生在課堂環境中教授/學習Web應用程式安全性。 DVWA的目標是透過簡單直接的介面練習一些最常見的Web漏洞,難度各不相同。請注意,該軟體中

Atom編輯器mac版下載
最受歡迎的的開源編輯器

記事本++7.3.1
好用且免費的程式碼編輯器