搜尋
首頁科技週邊人工智慧馬毅教授新作:白盒ViT成功實現「分割湧現」,經驗深度學習時代即將結束?

基於Transformer的視覺基礎模型在各種下游任務,如分割和檢測中都展現出了非常強大的性能,並且DINO等模型經過自監督訓練後已經湧現出了語義的分割屬性。

視覺Transformer模型經過有監督分類訓練後,並沒有出現類似的湧現能力,這一點令人感到奇怪

最近,馬毅教授的團隊研究了基於Transformer架構的模型,以探索湧現分割能力是否僅僅是複雜的自監督學習機制所導致的結果,或者是否可以透過適當設計模型架構,在更通用的條件下實現相同的湧現

馬毅教授新作:白盒ViT成功實現「分割湧現」,經驗深度學習時代即將結束?

#程式碼連結:https://github.com/Ma-Lab-Berkeley/CRATE

請點擊以下連結查看論文:https://arxiv.org/abs/2308.16271

經過大量實驗,研究人員證明了使用白盒Transformer模型CRATE時,其設計明確地模擬並追求資料分佈中的低維結構,以最小化的監督訓練配方出現整體和部分層級的分割屬性

透過分層的細粒度分析,我們得出了一個重要結論:湧現屬性有力地證實了白盒網路的設計數學功能。基於這一結果,我們提出了一種設計白盒基礎模型的方法,該模型不僅具有高性能,而且在數學上完全可解釋

馬毅教授也表示,深度學習的研究將會逐漸從經驗設計轉向理論指導。

馬毅教授新作:白盒ViT成功實現「分割湧現」,經驗深度學習時代即將結束?

白盒CRATE的湧現屬性

#DINO的分割湧現能力指的是DINO模型在處理語言任務時,能夠將輸入的句子分割成較小的片段,並對每個片段進行獨立的處理。這種能力使得DINO模型能夠更好地理解複雜的句子結構和語義訊息,從而提高其在自然語言處理領域的性能

智慧系統中的表徵學習旨在將世界的高維度、多模態感官資料(圖像、語言、語音)轉換為更緊湊的形式,同時保留其基本的低維結構,實現高效的識別(例如分類)、分組(例如分割)和追蹤。

馬毅教授新作:白盒ViT成功實現「分割湧現」,經驗深度學習時代即將結束?

深度學習模型的訓練通常採用數據驅動的方式,透過輸入大規模數據,以自監督的方式進行學習

#在視覺基礎模型中,DINO模型展現了令人驚訝的湧現能力,即使沒有經過有監督分割訓練,ViTs也能辨識出顯式的語意分割資訊。自監督Transformer架構的DINO模型在這方面表現出色

後續有工作研究瞭如何在DINO模型中利用這種分割信息,並在下游任務中,如分割、檢測等實現了最先進的性能,也有工作證明了用DINO訓練的ViTs中的倒數第二層特徵與視覺輸入中的顯著性信息強烈相關,如區分前景、背景和物體邊界,從而提升圖像分割和其他任務的性能。

為了讓分割屬性得以凸顯,DINO需要在訓練過程中巧妙地結合自監督學習、知識蒸餾和權重平均的方法

目前還不清楚DINO中引入的每個組件是否對於分割遮罩的湧現來說必不可缺,儘管DINO也採用ViT架構作為其主幹,但在分類任務上訓練的普通有監督ViT模型中,並沒有觀察到分割湧現行為。

CRATE的湧現

#基於DINO的成功案例,研究者想要探究,複雜的自監督學習管道對於獲得類似Transformer的視覺模型中的湧現屬性是否是必要的。

研究人員認為,在Transformer模型中促進分割屬性的一種有前途的方法是,在考慮輸入資料結構的情況下設計Transformer模型架構,也代表了表徵學習經典方法與現代數據驅動的深度學習框架的結合。

馬毅教授新作:白盒ViT成功實現「分割湧現」,經驗深度學習時代即將結束?

與目前主流的Transformer模型對比,這種設計方法也可以叫做白盒Transformer模型。

基於馬毅教授組先前的工作,研究人員對白盒架構的CRATE模型進行了廣泛的實驗,證明了CRATE的白盒設計是自註意力圖中分割屬性湧現的原因。

需要重新表達的內容是:定性評估

研究人員使用基於[CLS] token的注意力圖方法對模型進行解釋和視覺化,發現CRATE中的查詢-鍵-值矩陣都是相同的

馬毅教授新作:白盒ViT成功實現「分割湧現」,經驗深度學習時代即將結束?

可以觀察到CRATE模型的自註意力圖(self-attention map)可以對應到輸入影像的語意上,模型的內部網路對每個影像都進行了清晰的語意分割,實現了類似DINO模型的效果。

普通的ViT在有監督分類任務上訓練時,並沒有展現出類似的分割屬性

馬毅教授新作:白盒ViT成功實現「分割湧現」,經驗深度學習時代即將結束?

根據先前關於視覺化影像學習逐塊深度特徵的研究,研究人員對CRATE和ViT模型的深度token表徵進行了主成分分析(PCA)研究

馬毅教授新作:白盒ViT成功實現「分割湧現」,經驗深度學習時代即將結束?

可以發現,CRATE可以在沒有分割監督訓練的情況下,依然可以捕捉到影像中物體的邊界。

而且,主要成分(principal components)也顯示了token和物體之間相似部分的特徵對齊,例如紅色通道對應馬腿

而有監督ViT模型的PCA可視化結構化程度相當低。

定量評估

#研究人員對CRATE湧現的分割屬性進行評估時,使用了現有的分割和物件偵測技術

從自註意力圖可以看到,CRATE用清晰的邊界明確地捕獲了物件層級的語義,為了定量測量分割的質量,研究人員利用自注意力圖產生分割遮罩(segmentation mask),對比其與真實遮罩之間的標準mIoU(平均交並比)。

馬毅教授新作:白盒ViT成功實現「分割湧現」,經驗深度學習時代即將結束?

透過實驗結果可以看出,CRATE在視覺和mIOU評分方面明顯優於ViT,這表明CRATE的內部表示對於產生分割遮罩任務更有效

物件偵測與細粒度分割

#為了進一步驗證和評估CRATE捕獲的豐富語意信息,研究人員採用了一種高效的對象檢測和分割方法MaskCut,無需人工標註即可獲得自動化評估模型,可以基於CRATE學到的token表徵從圖像中提取更細粒度的分割。

馬毅教授新作:白盒ViT成功實現「分割湧現」,經驗深度學習時代即將結束?

馬毅教授新作:白盒ViT成功實現「分割湧現」,經驗深度學習時代即將結束?

在COCO val2017上的分割結果可以看到,有CRATE的內部表徵在偵測和分割指標上都比有監督ViT,有監督ViT特徵的MaskCut在某些情況下甚至完全無法產生分割遮罩。

CRATE分割能力的白盒分析

CRATE中深度的作用

CRATE的每一層設計都遵循相同的概念目的:優化稀疏速率降低,並將token分佈轉換為緊湊和結構化的形式。 重寫後:CRATE的每個層次的設計都遵循相同的理念:優化稀疏速率的降低,並將token的分佈轉化為緊湊且結構化的形式

假設CRATE中語意分割能力的湧現類似於「表徵Z中屬於相似語意類別token的聚類」,預期CRATE的分割表現可以隨著深度的增加而提高。

為了測試這一點,研究人員利用MaskCut管道來定量評估跨不同層的內部表徵的分割性能;同時應用PCA可視化來理解分割是如何隨深度加深而湧現的。

馬毅教授新作:白盒ViT成功實現「分割湧現」,經驗深度學習時代即將結束?

從實驗結果可以觀察到,當使用來自更深層的表徵時,分割分數提高了,與CRATE的增量最佳化設計非常一致。

相比之下,即使ViT-B/8的效能在後面的圖層中略有提高,但其分割分數明顯低於CRATE,PCA結果顯示,從CRATE深層擷取的表徵會逐漸更關注前景對象,並且能夠捕捉紋理層次的細節。

CRATE的熔化實驗

#CRATE中的注意力區塊(MSSA)和MLP塊(ISTA)與ViT中的注意力塊有所不同

為了研究每個組件對CRATE湧現分割屬性的影響,研究人員選擇了三個CRATE變體: CRATE,CRATE-MHSA,CRATE-MLP。這些變體分別代表了ViT中的注意區塊(MHSA)和MLP區塊

#研究人員在ImageNet-21k資料集上應用相同的預訓練設置,然後應用粗分割評估和遮罩分割評估來定量對比不同模型的性能。

馬毅教授新作:白盒ViT成功實現「分割湧現」,經驗深度學習時代即將結束?

根據實驗結果顯示,CRATE在所有任務中都明顯優於其他模型架構。值得注意的是,儘管MHSA和MSSA之間的架構差異很小,但只需簡單地將ViT中的MHSA替換為CRATE中的MSSA,就能顯著提升ViT在粗分割效能(即VOC Seg)方面的表現。這進一步證明了白盒設計的有效性

#需要進行改寫的內容是:注意頭的語意屬性的辨識

[CLS] token和影像區塊token之間的自註意力圖可以看到清晰的分段掩碼,根據直覺,每個注意力頭應該都可以捕捉到資料的部分特徵。

研究人員首先將圖像輸入到CRATE模型,然後由人來檢查、選擇四個似乎具有語義意義的注意力頭;然後在其他輸入圖像上在這些注意力頭上進行自註意力圖視覺化。

馬毅教授新作:白盒ViT成功實現「分割湧現」,經驗深度學習時代即將結束?

觀察可以發現,每個注意力頭都能夠捕捉到物體的不同部分,甚至是不同的語意。例如,第一列中的注意力頭能夠捕捉到不同動物的腿部,而最後一列中的注意力頭則能夠捕捉到耳朵和頭部

自從可形變零件模型(deformable part model)和膠囊網路發布以來,這種將視覺輸入解析為部分-整體層次結構的能力一直是識別架構的目標,白盒設計的CRATE模型也具有這種能力。

以上是馬毅教授新作:白盒ViT成功實現「分割湧現」,經驗深度學習時代即將結束?的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述
本文轉載於:51CTO.COM。如有侵權,請聯絡admin@php.cn刪除
人工智能治療師在這裡:您需要了解的14個開創性的心理健康工具人工智能治療師在這裡:您需要了解的14個開創性的心理健康工具Apr 30, 2025 am 11:17 AM

儘管它無法提供訓練有素的治療師的人類聯繫和直覺,但研究表明,許多人很樂意與相對無面和匿名的AI機器人分享他們的擔憂和擔憂。 這是否總是好我

叫AI到雜貨店過道叫AI到雜貨店過道Apr 30, 2025 am 11:16 AM

人工智能(AI)是一種技術數十年的技術,正在徹底改變食品零售業。 從大規模的效率提高和成本降低到精簡的各種業務功能的流程,AI的影響是Undeniabl

從生成的AI中進行佩普談話來提升您的精神從生成的AI中進行佩普談話來提升您的精神Apr 30, 2025 am 11:15 AM

讓我們來談談。 對創新的AI突破的分析是我正在進行的AI中正在進行的《福布斯》列覆蓋範圍的一部分,包括識別和解釋各種有影響力的AI複雜性(請參閱此處的鏈接)。此外,對於我的comp

為什麼AI驅動的超個性化是所有企業必須的為什麼AI驅動的超個性化是所有企業必須的Apr 30, 2025 am 11:14 AM

保持專業形象需要偶爾的衣櫃更新。 在線購物方便時,它缺乏面對面嘗試的確定性。 我的解決方案? AI驅動的個性化。 我設想AI助手策劃服裝Selecti

忘記Duolingo:Google Translate的新AI功能教授語言忘記Duolingo:Google Translate的新AI功能教授語言Apr 30, 2025 am 11:13 AM

谷歌翻譯新增語言學習功能 據Android Authority報導,應用專家AssembleDebug發現,最新版本的谷歌翻譯應用包含一個新的“練習”模式的測試代碼,旨在幫助用戶通過個性化活動來提高他們的語言技能。此功能目前對用戶不可見,但AssembleDebug能夠部分激活它並查看其一些新的用戶界面元素。 激活後,該功能會在屏幕底部添加一個新的“畢業帽”圖標,標有“Beta”徽章,表明“練習”功能最初將以實驗形式發布。 相關的彈出提示顯示“練習為你量身定制的活動!”,這意味著谷歌將生成定制的

他們正在為AI製作TCP/IP,這就是Nanda他們正在為AI製作TCP/IP,這就是NandaApr 30, 2025 am 11:12 AM

麻省理工學院的研究人員正在開發Nanda,這是為AI代理設計的開創性的Web協議。 Nanda的縮寫是網絡代理和分散的AI,通過添加Internet功能,使AI Agen能夠構建人類的模型上下文協議(MCP)。

提示:DeepFake檢測是一項蓬勃發展的業務提示:DeepFake檢測是一項蓬勃發展的業務Apr 30, 2025 am 11:11 AM

Meta的最新冒險:與Chatgpt競爭的AI應用程序 Facebook,Instagram,WhatsApp和Threads的母公司Meta正在啟動新的AI功能應用程序。 這個獨立的應用程序Meta AI旨在直接與Openai的Chatgpt競爭。 槓桿

接下來的兩年在AI網絡安全方面為業務領導者接下來的兩年在AI網絡安全方面為業務領導者Apr 30, 2025 am 11:10 AM

導航AI網絡攻擊的上升潮流 最近,CISO的傑森·克林頓(Jason Clinton)擬人化,強調了與非人類身份相關的新興風險 - 作為機器對機器的通信增殖,維護這些“身份”

See all articles

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

Video Face Swap

Video Face Swap

使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱工具

MinGW - Minimalist GNU for Windows

MinGW - Minimalist GNU for Windows

這個專案正在遷移到osdn.net/projects/mingw的過程中,你可以繼續在那裡關注我們。 MinGW:GNU編譯器集合(GCC)的本機Windows移植版本,可自由分發的導入函式庫和用於建置本機Windows應用程式的頭檔;包括對MSVC執行時間的擴展,以支援C99功能。 MinGW的所有軟體都可以在64位元Windows平台上運作。

SAP NetWeaver Server Adapter for Eclipse

SAP NetWeaver Server Adapter for Eclipse

將Eclipse與SAP NetWeaver應用伺服器整合。

SublimeText3漢化版

SublimeText3漢化版

中文版,非常好用

記事本++7.3.1

記事本++7.3.1

好用且免費的程式碼編輯器

Dreamweaver Mac版

Dreamweaver Mac版

視覺化網頁開發工具