CVPR 2023論文總結！ CV最熱領域頒給多模態、擴散模型
- WBOY轉載
- 2023-05-25 15:10:351355瀏覽
一年一度的CVPR即將在6月18-22日加拿大溫哥華正式開幕。
每年，來自世界各地的成千上萬的CV研究人員和工程師聚集在一起參加頂會。這個久負盛名的會議可以追溯到1983年，它代表了電腦視覺發展的巔峰。
目前，CVPR的h5指數所有會議或出版品中排名第四，僅次於《自然》、《科學》和《新英格蘭醫學雜誌》。
前段時間，CVPR公佈了論文接收結果。根據官網上統計數據，共接受論文9155篇，錄取2359篇，接受率為25.8%。
此外，也公佈了12篇獲獎候選論文。
那麼，今年的CVPR有哪些亮點呢？從錄用論文中我們又能看到CV領域有哪些趨勢？
接下來一併揭曉。
CVPR一覽
新創公司Voxel51就所有被接收論文清單中進行了分析。
先來整體看一張論文標題的總圖，每個字的大小與資料集中出現的頻率成正比。
簡單說明
- 2359篇論文被接收（9155份論文提交)
- 1724篇Arxiv論文
- 68份文件提交到其他地址
每篇論文的作者
- CVPR論文的平均作者約為5.4人
- 論文當中作者最多的是: “Why is the winner the best?”有125位作者
- 有13篇論文只有一個作者。
主要Arxiv分類
#在1724篇Arxiv論文中，有1545篇，或接近90%的論文將cs.CV列為主要類別。
cs.LG排名第二，有101篇。 eess.IV （26）和 cs.RO （16）也分得一杯羹。
CVPR 論文的其他類別包括: cs.HC，cs.CV，cs.AR，cs.DC，cs.NE，cs.SD，cs.CL，cs.IT ，cs.CR，cs.AI，cs.MM，cs.GR，eess.SP，eess.AS，math.OC，math.NT，physics.data-an和stat.ML。
「Meta」資料
- 「資料集」與「模型」這2個字共同出現在567篇摘要中。 「資料集」在265篇論文摘要中單獨出現，而「模型」則單獨出現了613次。只有16.2%的 CVPR接收論文沒有包含這兩個字。
- 根據CVPR論文摘要，今年最受歡迎的資料集是ImageNet（105），COCO（94），KITTI（55）和CIFAR（36）。
- 28篇論文提出了一個新的「基準」。
縮寫詞比比皆是
#似乎沒有首字母縮寫就沒有機器學習項目。 2359篇論文中，1487篇的標題有多個大寫字母的縮寫或複合詞，佔63%。
這些首字母縮寫詞中有一些很容易記住，甚至可以脫口而出：
- CLAMP: Prompt-based Contrastive Learning for Connecting Language and Animal PoseCLAMP
- PATS: Patch Area Transportation with Subdivision for Local Feature Matching
- CIRCLE: Capture In Rich Contextual Environments
- CIRCLE: Capture In Rich Contextual Environments
##幫助有些則複雜得多：
- SIEDOB: Semantic Image Editing by Disentangling Object and Background
- FJMP : Factorized Joint Multi-Agent Motion Prediction over Learned Directed Acyclic Interaction GraphsFJMP
##他們中的一些人似乎在首字母縮略詞構建上借鑒了別人的創意：##他們中的一些人似乎在首字母縮略詞構建上借鑒了別人的創意：
- SCOTCH and SODA: A Transformer Video Shadow Detection Framework（荷蘭流行潮牌Scotch & Soda）
- EXCALIBUR: Encouraging and Evaluating Embodied Exploration（Ex咖哩棒，笑）什麼最熱？
除了2023年的論文標題，我們抓取了2022年所有接受的論文標題。從這兩個清單中，我們計算了各種關鍵字的相對頻率，從讓大家對什麼是上升趨勢、什麼是下降趨勢有更深入的了解。
模型2023年，擴散模型（Diffusion models）佔據了主導地位。
。擴散模型
隨著Stable Diffusion和Midjourney等影像生成模型的走紅，擴散模型發展的火熱趨勢也就不足為奇了。
擴散模型在去雜訊、影像編輯和風格轉換方面也有應用。把所有這些加起來，到目前為止，它是所有類別中最大的贏家，比去年同期增長了573% 。
輻射場
#神經輻射場（NERF）也越來越受歡迎，論文中使用單字“ radiance」增加了80% ，「NERF」增加了39% 。 NeRF已經從概念驗證轉向編輯、應用和訓練流程最佳化。
######Transformers################「Transformer」和「ViT」的使用率下降並不意味著Transformer模型過時，而是反映了這些模型在2022年的主導地位。 2021年，「Transformer」這個字只出現在37篇論文中。 2022年，這個數字飆升至201。 Transformer不會很快消失。 ###############CNN################CNN曾經是電腦視覺的寵兒，到了2023年，似乎失去了它們的優勢，使用率下降了68%。許多提到 CNN 的標題也提到了其他模型。例如，這些論文提到了CNN和Transformer：############- Lite-Mono: A Lightweight CNN and Transformer Architecture for Self-Supervised Monocular Depth EstimationLite-Mono######### ####- Learned Image Compression with Mixed Transformer-CNN Architectures############任務############掩碼任務和掩碼圖像建模相結合，在CVPR中佔據了主導地位。 ############################################################################傳統的判別任務，如檢測、分類和分割並沒有失寵，但是由於生成應用的一系列進步，它們在CV的份額正在縮小，包括“編輯”、“合成”以及“生成”的上升就證明這一點。
掩碼
#關鍵字「mask」比去年同期成長了263% ，在2023年被接收的論文中出現了92次，有時在一個標題中出現了2次。
- SIM: Semantic-aware Instance Mask Generation for Box-Supervised Instance SegmentationSIM
#- DynaMask: Dynamic Mask Selection for Instance SegmentationDynaMask#mentationDynaMask
##但大多數（64%）實際上指的是「掩碼」任務，包括8個「掩碼影像建模」和15個「掩碼自動編碼器」任務。此外，還有8篇出現「掩碼」。
同樣值得注意的是，3篇帶有單字「mask」的論文標題實際上指的是「無掩碼」任務。
零樣本vs小樣本
#隨著遷移學習、產生方法、提示和通用模型的興起， 「零樣本」學習正在獲得關注。同時，「小樣本」學習比去年有所下降。然而，就原始數字而言，至少目前而言，「小樣本」（45）比「零樣本」（35）略有優勢。
模數
2023年，多模態與跨模態應用加速發展。
即使「多模態」這個詞本身沒有在論文標題中出現，也很難否認電腦視覺正在走向多模態的未來。
這在視覺語言任務中尤其明顯，正如「開放」、「提示」和「詞彙」的急劇上升所顯示的。
這種情況最極端的例子是「開放詞彙」這個複合詞，它在2022年只出現了3次，但在2023年出現了18次。
深入研究CVPR 2023論文標題中的關鍵字
點雲9
三維電腦視覺應用正在從以二維影像推斷3D資訊（「深度」和「立體」）轉向直接在3D點雲資料上進行工作的電腦視覺系統。
######CV標題的創造力#########如果不將ChatGPT納入其中，2023年任何與機器學習相關的全面報導都是不完整的。我們決定讓事情變得有趣，並使用ChatGPT來尋找CVPR 2023中最有創意的標題。 ############對於每一篇上傳到Arxiv的論文，我們抓取了摘要，並要求 ChatGPT （GPT-3.5 API）為相應的CVPR論文產生一個標題。 ############然後，我們將這些由ChatGPT產生的標題和實際的論文標題，使用OpenAI的text-embedding-ada-002模型產生嵌入向量，並計算ChatGPT產生的標題和作者產生的標題之間的餘弦相似度。 ############這可以告訴我們什麼？ ChatGPT越接近實際的論文標題，這個標題就越可預測。換句話說，ChatGPT的預測越「偏」，作者為論文命名的「創造性」就越強。 ######嵌入和餘弦相似度為我們提供了一個有趣的，儘管遠非完美的，量化方法。
我們依照這個指標對論文進行了排序。話不多說，以下是最具創意的標題:
實際的標題：Tracking Every Thing in the Wild
預測的標題：Disentangling Classification from Tracking: Introducing TETA for Comprehensive Benchmarking of Multi-Category Multiple Object Tracking
實際的標題：Learning to Bootstrap for Combating Label Noise
預測的標題：Learnable Loss Objective for Joint Instance and Label Reweighting in Deep Neural Networks
實際的標題：Seeing a Rose in Five Thousand Ways
實際的標題：Seeing a Rose in Five Thousand Ways
預測的標題：Learning Object Intrinsics from Single Internet Images for Superior Visual Rendering and Synthesis
實際的標題：Why is the winner the best?
####預測的標題：Analyzing Winning Strategies in International Benchmarking Competitions for Image Analysis: Insights from a Multi-Center Study of IEEE ISBI and MICCAI 2021#######以上是CVPR 2023論文總結！ CV最熱領域頒給多模態、擴散模型的詳細內容。更多資訊請關注PHP中文網其他相關文章！