視覺基礎模型近兩年取得了矚目發展。從一方面而言,基於大規模互聯網資料的預訓練已經為模型預置了大量的語義概念,從而具有良好的泛化性能;但另一方面,為充分利用大規模資料集帶來的模型尺寸成長,使得相關模型在遷移到下游任務時面臨低效率問題,尤其是對於需要處理多幀的視訊理解模型。
- 論文連結:https://arxiv.org/abs/2208.03550
- #程式碼連結:https://github.com/OpenGVLab/efficient-video-recognition
基於上述兩方面特點,來自香港中文大學、上海人工智慧實驗室等機構的研究者提出了高效的視訊理解遷移學習框架EVL,透過固定骨幹基礎模型的權重,節省了訓練計算量和記憶體消耗;同時透過利用多層次、細粒度的中間特徵,盡可能保持了傳統端對端微調的彈性。
下圖 1 展示了 EVL 方法在視訊理解資料集 Kinetics-400 上的結果。實驗顯示,本文方法在節省訓練開銷的同時,仍充分發掘了視覺基礎模型在影片理解任務中的潛力。
圖 1:Kinetics-400 辨識精確度比較,橫軸為推理計算量,縱軸為精確度。
方法
演算法的整體示意圖如圖 2(a)所示。對於一個視訊樣本,我們取其中的 T 幀輸入一個影像辨識網路(以 CLIP 為例)並提取特徵。與傳統方法相比,我們從圖像識別網路的最後幾層中提取多層、未池化的特徵,從而獲取更豐富、更細粒度的圖像資訊;並且圖像識別網路的參數權重在視訊學習中始終保持固定。隨後,多層特徵圖依序輸入一個 Transformer 解碼器進行視訊級資訊聚合。經過多層解碼後的 [CLS] 特徵將用於產生最終的分類預測。
如圖2(b)所示,由於Transformer 解碼器聚合特徵時的無序性,我們在網路中加入了額外的時序資訊建模模組,以更好地提取位置有關的細粒度時序資訊。具體而言,我們添加3 個額外的位置有關時序資訊:第一是時間位置嵌入(Position Embeddings),第二是時間維度深度可分卷積(Depthwise Convolution),第三是相鄰幀間的注意力資訊。對於幀間注意力訊息,我們從影像辨識網路中提取對應層的Query 和Key 特徵,並在相鄰影格之間計算注意力圖(不同於影像辨識網路中,注意力圖是由來自同一畫面內的Query和Key 特徵得到)。所得的注意力圖能顯式地反映出相鄰影格之間物體的位置變化。注意力圖經過線性投影後得到反應物體位移特徵的向量組,並以逐元素相加的形式融合入影像特徵中。
圖 2:EVL 演算法結構圖。 (a)整體結構,(b)時序資訊建模模組。
#圖3:幀間注意力特徵的數學表達。
实验
在图 1 和表 1 中,我们引用了之前视频理解中的部分重要方法。尽管着力于减小训练开销,我们的方法仍然能在精度方面领先于现有方法(相同计算量下)。
表 2 中我们展示了固定骨干网络带来的训练开销降低。内存方面,在 V100 16GB GPU 上,固定骨干网络可以使单卡 batch size 最高达到 64,而端到端训练则只能达到 8;时间方面,固定骨干网络可以节省 3 至 4 倍的训练时间。
表 3 中我们展示了细粒度特征图对识别性能的提升。多层的未经池化特征使得我们在固定骨干网络权值时仍然能保持相当程度的灵活性。使用未经池化的特征带来的提升最为显著(大约 3%),其次,使用多层解码器和中间层特征也能分别带来大约 1% 的性能提升。
最后我们在表 4 中展示了细粒度时序信息模块的效果。尽管细粒度时序信息对 Kinetics-400 的性能影响有限,但它们对于 Something-Something-v2 的性能十分重要:3 种细粒度时序信息模块在 Kinetics-400 和 Something-Something-v2 上分别合计带来大约 0.5% 和大约 14% 的性能提升。
表 1:Kinetics-400 上与现有方法的对比结果
表 2:固定骨干网络权重带来的训练开销降低
表 3:细粒度特征图对精度的影响
表 4:细粒度时序信息建模在不同数据集上的效果
总结
本文提出了 EVL 视频理解学习框架,首次展示了固定的图像骨干网络在视频理解问题上的巨大潜力,也使得高性能的视频理解对于计算资源有限的研究群体更加友好。我们也相信随着视觉基础模型在质量及规模上的提升,我们的方法能为后续的轻量级迁移学习算法研究提供参考。
以上是固定參數的模型有多大潛力?港中文、上海AI Lab等提出高效視訊理解框架EVL的詳細內容。更多資訊請關注PHP中文網其他相關文章!

經常使用“ AI-Ready勞動力”一詞,但是在供應鏈行業中確實意味著什麼? 供應鏈管理協會(ASCM)首席執行官安倍·埃什肯納齊(Abe Eshkenazi)表示,它表示能夠評論家的專業人員

分散的AI革命正在悄悄地獲得動力。 本週五在德克薩斯州奧斯汀,Bittensor最終遊戲峰會標誌著一個關鍵時刻,將分散的AI(DEAI)從理論轉變為實際應用。 與閃閃發光的廣告不同

企業AI面臨數據集成挑戰 企業AI的應用面臨一項重大挑戰:構建能夠通過持續學習業務數據來保持準確性和實用性的系統。 NeMo微服務通過創建Nvidia所描述的“數據飛輪”來解決這個問題,允許AI系統通過持續接觸企業信息和用戶互動來保持相關性。 這個新推出的工具包包含五個關鍵微服務: NeMo Customizer 處理大型語言模型的微調,具有更高的訓練吞吐量。 NeMo Evaluator 提供針對自定義基準的AI模型簡化評估。 NeMo Guardrails 實施安全控制,以保持合規性和適當的

AI:藝術與設計的未來畫卷 人工智能(AI)正以前所未有的方式改變藝術與設計領域,其影響已不僅限於業餘愛好者,更深刻地波及專業人士。 AI生成的藝術作品和設計方案正在迅速取代傳統的素材圖片和許多交易性設計活動中的設計師,例如廣告、社交媒體圖片生成和網頁設計。 然而,專業藝術家和設計師也發現AI的實用價值。他們將AI作為輔助工具,探索新的美學可能性,融合不同的風格,創造新穎的視覺效果。 AI幫助藝術家和設計師自動化重複性任務,提出不同的設計元素並提供創意輸入。 AI支持風格遷移,即將一種圖像的風格應用

Zoom最初以其視頻會議平台而聞名,它通過創新使用Agentic AI來引領工作場所革命。 最近與Zoom的CTO XD黃的對話揭示了該公司雄心勃勃的願景。 定義代理AI 黃d

AI會徹底改變教育嗎? 這個問題是促使教育者和利益相關者的認真反思。 AI融入教育既提出了機遇和挑戰。 正如科技Edvocate的馬修·林奇(Matthew Lynch)所指出的那樣

美國科學研究和技術發展或將面臨挑戰,這或許是由於預算削減導致的。據《自然》雜誌報導,2025年1月至3月期間,美國科學家申請海外工作的數量比2024年同期增加了32%。此前一項民意調查顯示,75%的受訪研究人員正在考慮前往歐洲和加拿大尋找工作。 過去幾個月,數百項NIH和NSF的撥款被終止,NIH今年的新撥款減少了約23億美元,下降幅度接近三分之一。洩露的預算提案顯示,特朗普政府正在考慮大幅削減科學機構的預算,削減幅度可能高達50%。 基礎研究領域的動盪也影響了美國的一大優勢:吸引海外人才。 35

Openai推出了強大的GPT-4.1系列:一個專為現實世界應用設計的三種高級語言模型家族。 這種巨大的飛躍提供了更快的響應時間,增強的理解和大幅降低了成本


熱AI工具

Undresser.AI Undress
人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool
免費脫衣圖片

Clothoff.io
AI脫衣器

Video Face Swap
使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱門文章

熱工具

Safe Exam Browser
Safe Exam Browser是一個安全的瀏覽器環境,安全地進行線上考試。該軟體將任何電腦變成一個安全的工作站。它控制對任何實用工具的訪問,並防止學生使用未經授權的資源。

記事本++7.3.1
好用且免費的程式碼編輯器

SAP NetWeaver Server Adapter for Eclipse
將Eclipse與SAP NetWeaver應用伺服器整合。

SublimeText3漢化版
中文版,非常好用

EditPlus 中文破解版
體積小,語法高亮,不支援程式碼提示功能