搜尋
首頁科技週邊人工智慧固定參數的模型有多大潛力?港中文、上海AI Lab等提出高效視訊理解框架EVL

視覺基礎模型近兩年取得了矚目發展。從一方面而言,基於大規模互聯網資料的預訓練已經為模型預置了大量的語義概念,從而具有良好的泛化性能;但另一方面,為充分利用大規模資料集帶來的模型尺寸成長,使得相關模型在遷移到下游任務時面臨低效率問題,尤其是對於需要處理多幀的視訊理解模型。

固定參數的模型有多大潛力?港中文、上海AI Lab等提出高效視訊理解框架EVL

  • 論文連結:https://arxiv.org/abs/2208.03550
  • #程式碼連結:https://github.com/OpenGVLab/efficient-video-recognition

基於上述兩方面特點,來自香港中文大學、上海人工智慧實驗室等機構的研究者提出了高效的視訊理解遷移學習框架EVL,透過固定骨幹基礎模型的權重,節省了訓練計算量和記憶體消耗;同時透過利用多層次、細粒度的中間特徵,盡可能保持了傳統端對端微調的彈性。

下圖 1 展示了 EVL 方法在視訊理解資料集 Kinetics-400 上的結果。實驗顯示,本文方法在節省訓練開銷的同時,仍充分發掘了視覺基礎模型在影片理解任務中的潛力。

固定參數的模型有多大潛力?港中文、上海AI Lab等提出高效視訊理解框架EVL

圖 1:Kinetics-400 辨識精確度比較,橫軸為推理計算量,縱軸為精確度。

方法

演算法的整體示意圖如圖 2(a)所示。對於一個視訊樣本,我們取其中的 T 幀輸入一個影像辨識網路(以 CLIP 為例)並提取特徵。與傳統方法相比,我們從圖像識別網路的最後幾層中提取多層、未池化的特徵,從而獲取更豐富、更細粒度的圖像資訊;並且圖像識別網路的參數權重在視訊學習中始終保持固定。隨後,多層特徵圖依序輸入一個 Transformer 解碼器進行視訊級資訊聚合。經過多層解碼後的 [CLS] 特徵將用於產生最終的分類預測。

如圖2(b)所示,由於Transformer 解碼器聚合特徵時的無序性,我們在網路中加入了額外的時序資訊建模模組,以更好地提取位置有關的細粒度時序資訊。具體而言,我們添加3 個額外的位置有關時序資訊:第一是時間位置嵌入(Position Embeddings),第二是時間維度深度可分卷積(Depthwise Convolution),第三是相鄰幀間的注意力資訊。對於幀間注意力訊息,我們從影像辨識網路中提取對應層的Query 和Key 特徵,並在相鄰影格之間計算注意力圖(不同於影像辨識網路中,注意力圖是由來自同一畫面內的Query和Key 特徵得到)。所得的注意力圖能顯式地反映出相鄰影格之間物體的位置變化。注意力圖經過線性投影後得到反應物體位移特徵的向量組,並以逐元素相加的形式融合入影像特徵中。

固定參數的模型有多大潛力?港中文、上海AI Lab等提出高效視訊理解框架EVL

圖 2:EVL 演算法結構圖。 (a)整體結構,(b)時序資訊建模模組。

固定參數的模型有多大潛力?港中文、上海AI Lab等提出高效視訊理解框架EVL

固定參數的模型有多大潛力?港中文、上海AI Lab等提出高效視訊理解框架EVL

#圖3:幀間注意力特徵的數學表達。

实验

在图 1 和表 1 中,我们引用了之前视频理解中的部分重要方法。尽管着力于减小训练开销,我们的方法仍然能在精度方面领先于现有方法(相同计算量下)。

表 2 中我们展示了固定骨干网络带来的训练开销降低。内存方面,在 V100 16GB GPU 上,固定骨干网络可以使单卡 batch size 最高达到 64,而端到端训练则只能达到 8;时间方面,固定骨干网络可以节省 3 至 4 倍的训练时间。

表 3 中我们展示了细粒度特征图对识别性能的提升。多层的未经池化特征使得我们在固定骨干网络权值时仍然能保持相当程度的灵活性。使用未经池化的特征带来的提升最为显著(大约 3%),其次,使用多层解码器和中间层特征也能分别带来大约 1% 的性能提升。

最后我们在表 4 中展示了细粒度时序信息模块的效果。尽管细粒度时序信息对 Kinetics-400 的性能影响有限,但它们对于 Something-Something-v2 的性能十分重要:3 种细粒度时序信息模块在 Kinetics-400 和 Something-Something-v2 上分别合计带来大约 0.5% 和大约 14% 的性能提升。

固定參數的模型有多大潛力?港中文、上海AI Lab等提出高效視訊理解框架EVL

表 1:Kinetics-400 上与现有方法的对比结果

固定參數的模型有多大潛力?港中文、上海AI Lab等提出高效視訊理解框架EVL

表 2:固定骨干网络权重带来的训练开销降低

固定參數的模型有多大潛力?港中文、上海AI Lab等提出高效視訊理解框架EVL

表 3:细粒度特征图对精度的影响

固定參數的模型有多大潛力?港中文、上海AI Lab等提出高效視訊理解框架EVL

表 4:细粒度时序信息建模在不同数据集上的效果

总结

本文提出了 EVL 视频理解学习框架,首次展示了固定的图像骨干网络在视频理解问题上的巨大潜力,也使得高性能的视频理解对于计算资源有限的研究群体更加友好。我们也相信随着视觉基础模型在质量及规模上的提升,我们的方法能为后续的轻量级迁移学习算法研究提供参考。

以上是固定參數的模型有多大潛力?港中文、上海AI Lab等提出高效視訊理解框架EVL的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述
本文轉載於:51CTO.COM。如有侵權,請聯絡admin@php.cn刪除
烹飪創新:人工智能如何改變食品服務烹飪創新:人工智能如何改變食品服務Apr 12, 2025 pm 12:09 PM

AI增強食物準備 在新生的使用中,AI系統越來越多地用於食品製備中。 AI驅動的機器人在廚房中用於自動化食物準備任務,例如翻轉漢堡,製作披薩或組裝SA

Python名稱空間和可變範圍的綜合指南Python名稱空間和可變範圍的綜合指南Apr 12, 2025 pm 12:00 PM

介紹 了解Python函數中變量的名稱空間,範圍和行為對於有效編寫和避免運行時錯誤或異常至關重要。在本文中,我們將研究各種ASP

視覺語言模型(VLMS)的綜合指南視覺語言模型(VLMS)的綜合指南Apr 12, 2025 am 11:58 AM

介紹 想像一下,穿過​​美術館,周圍是生動的繪畫和雕塑。現在,如果您可以向每一部分提出一個問題並獲得有意義的答案,該怎麼辦?您可能會問:“您在講什麼故事?

聯發科技與kompanio Ultra和Dimenty 9400增強優質陣容聯發科技與kompanio Ultra和Dimenty 9400增強優質陣容Apr 12, 2025 am 11:52 AM

繼續使用產品節奏,本月,Mediatek發表了一系列公告,包括新的Kompanio Ultra和Dimenty 9400。這些產品填補了Mediatek業務中更傳統的部分,其中包括智能手機的芯片

本週在AI:沃爾瑪在時尚趨勢之前設定了時尚趨勢本週在AI:沃爾瑪在時尚趨勢之前設定了時尚趨勢Apr 12, 2025 am 11:51 AM

#1 Google推出了Agent2Agent 故事:現在是星期一早上。作為AI驅動的招聘人員,您更聰明,而不是更努力。您在手機上登錄公司的儀表板。它告訴您三個關鍵角色已被採購,審查和計劃的FO

生成的AI遇到心理摩托車生成的AI遇到心理摩托車Apr 12, 2025 am 11:50 AM

我猜你一定是。 我們似乎都知道,心理障礙由各種chat不休,這些chat不休,這些chat不休,混合了各種心理術語,並且常常是難以理解的或完全荒謬的。您需要做的一切才能噴出fo

原型:科學家將紙變成塑料原型:科學家將紙變成塑料Apr 12, 2025 am 11:49 AM

根據本週發表的一項新研究,只有在2022年製造的塑料中,只有9.5%的塑料是由回收材料製成的。同時,塑料在垃圾填埋場和生態系統中繼續堆積。 但是有幫助。一支恩金團隊

AI分析師的崛起:為什麼這可能是AI革命中最重要的工作AI分析師的崛起:為什麼這可能是AI革命中最重要的工作Apr 12, 2025 am 11:41 AM

我最近與領先的企業分析平台Alteryx首席執行官安迪·麥克米倫(Andy Macmillan)的對話強調了這一在AI革命中的關鍵但不足的作用。正如Macmillan所解釋的那樣,原始業務數據與AI-Ready Informat之間的差距

See all articles

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

AI Hentai Generator

AI Hentai Generator

免費產生 AI 無盡。

熱門文章

R.E.P.O.能量晶體解釋及其做什麼(黃色晶體)
3 週前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.最佳圖形設置
3 週前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.如果您聽不到任何人,如何修復音頻
3 週前By尊渡假赌尊渡假赌尊渡假赌
WWE 2K25:如何解鎖Myrise中的所有內容
4 週前By尊渡假赌尊渡假赌尊渡假赌

熱工具

MinGW - Minimalist GNU for Windows

MinGW - Minimalist GNU for Windows

這個專案正在遷移到osdn.net/projects/mingw的過程中,你可以繼續在那裡關注我們。 MinGW:GNU編譯器集合(GCC)的本機Windows移植版本,可自由分發的導入函式庫和用於建置本機Windows應用程式的頭檔;包括對MSVC執行時間的擴展,以支援C99功能。 MinGW的所有軟體都可以在64位元Windows平台上運作。

SAP NetWeaver Server Adapter for Eclipse

SAP NetWeaver Server Adapter for Eclipse

將Eclipse與SAP NetWeaver應用伺服器整合。

記事本++7.3.1

記事本++7.3.1

好用且免費的程式碼編輯器

Dreamweaver Mac版

Dreamweaver Mac版

視覺化網頁開發工具

SublimeText3 Linux新版

SublimeText3 Linux新版

SublimeText3 Linux最新版