搜尋
首頁科技週邊人工智慧CVPR 2023|美圖&國科大聯合提出DropKey正規化方法:用兩行程式碼高效避免視覺Transformer過擬合問題


近期,基於 Transformer 的演算法被廣泛應用於電腦視覺的各類任務中,但該類別演算法在訓練資料量較小時容易產生過擬合問題。現有 Vision Transformer 通常直接引入 CNN 中常用的 Dropout 演算法作為正則化器,其在註意力權重圖上進行隨機 Drop 並為不同深度的注意力層設置統一的 drop 機率。儘管 Dropout 十分簡單,但這種 drop 方式主要面臨三個主要問題。

首先,在softmax 歸一化後進行隨機Drop 會打破注意力權重的機率分佈並且無法對權重峰值進行懲罰,從而導致模型仍會過擬合於局部特定資訊(如圖1)。其次,網路深層較大的 Drop 機率會導致高層語意資訊缺失,而淺層中較小的 drop 機率會導致過度擬合於底層細節特徵,因此恆定的 drop 機率會導致訓練過程的不穩定。最後,CNN 中常用的結構化 drop 方式在 Vision Transformer 上的有效性並不明朗。

CVPR 2023|两行代码高效缓解视觉Transformer过拟合,美图&国科大联合提出正则化方法DropKey

圖1 不同正則化器對注意力分佈圖的影響

#美圖影像研究院(MT Lab)與中國科學院大學在CVPR 2023 上發表了一篇文章,提出一種新穎且即插即用的正則化器DropKey,該正則化器可以有效緩解Vision Transformer 中的過度擬合問題。

CVPR 2023|两行代码高效缓解视觉Transformer过拟合,美图&国科大联合提出正则化方法DropKey


Ссылка на документ: https://arxiv.org/abs/2208.02646

Следующие три основных вопроса обсуждаются в статья Исследовано:

#Во-первых, какую информацию следует поместить в слой внимания? В отличие от прямого сброса веса внимания, этот метод выполняет операцию сброса перед вычислением матрицы внимания и использует ключ в качестве базовой единицы сброса. Этот метод теоретически подтверждает, что регуляризатор DropKey может наказывать области с повышенным вниманием и назначать веса внимания другим областям, представляющим интерес, тем самым улучшая способность модели собирать глобальную информацию.

Во-вторых, как установить вероятность выпадения? По сравнению со всеми слоями, имеющими одну и ту же вероятность падения, в этой статье предлагается новый метод настройки вероятности падения, который постепенно уменьшает значение вероятности падения по мере углубления слоя самообслуживания.

В-третьих, необходимо ли выполнять структурированную операцию удаления, такую ​​как CNN? В этом методе был опробован подход структурированного перетаскивания, основанный на блочных и перекрестных окнах, и было обнаружено, что этот метод не важен для Vision Transformer.


Vision Transformer (ViT) — это новая технология в последних моделях компьютерного зрения. Парадигма широко используется в таких задачах, как распознавание изображений, сегментация изображений, обнаружение ключевых точек человеческого тела и взаимное обнаружение людей. В частности, ViT делит изображение на фиксированное количество блоков изображения, рассматривает каждый блок изображения как базовую единицу и вводит механизм самообслуживания с несколькими головками для извлечения информации об объектах, содержащей взаимные отношения. Однако существующие методы, подобные ViT, часто страдают от проблем переобучения на небольших наборах данных, то есть они используют только локальные функции цели для выполнения определенных задач.

Чтобы преодолеть вышеуказанные проблемы, в этой статье предлагается готовый к использованию регуляризатор DropKey, который можно реализовать с помощью всего двух строк кода для облегчения использования метода класса ViT. Проблема переобучения. В отличие от существующего Dropout, DropKey устанавливает Key для перетаскиваемого объекта и теоретически и экспериментально подтвердил, что это изменение может наказывать части с высокими значениями внимания, одновременно побуждая модель уделять больше внимания другим фрагментам изображения, связанным с целью, что полезно для захвата глобальных надежных функций. Кроме того, в документе также предлагается установить уменьшающиеся вероятности падения для постоянно углубляющихся слоев внимания, что позволяет избежать переобучения модели низкоуровневыми функциями, обеспечивая при этом достаточное количество высокоуровневых функций для стабильного обучения. Кроме того, в статье экспериментально доказано, что метод структурированной капли не является необходимым для ВиТ.

##DropKey

Чтобы изучить основные причины проблем переобучения, Данное исследование Во-первых, механизм внимания формализуется как простая цель оптимизации и анализируется его лагранжева форма разложения. Было обнаружено, что при постоянной оптимизации модели пятнам изображений с большей долей внимания на текущей итерации будет иметь тенденцию присваиваться больший вес внимания на следующей итерации. Чтобы решить эту проблему, DropKey неявно назначает адаптивный оператор каждому блоку внимания, случайным образом удаляя часть ключа, чтобы ограничить распределение внимания и сделать его более плавным. Стоит отметить, что по сравнению с другими регуляризаторами, предназначенными для конкретных задач, DropKey не требует ручного проектирования. Поскольку на этапе обучения в ключе выполняются случайные сбросы, что приведет к несогласованным ожидаемым результатам на этапах обучения и тестирования, этот метод также предлагает использовать методы Монте-Карло или методы точной настройки для согласования ожидаемых результатов. Более того, для реализации этого метода требуется всего две строки кода, как показано на рисунке 2.

CVPR 2023|两行代码高效缓解视觉Transformer过拟合,美图&国科大联合提出正则化方法DropKey

Рис. 2. Метод реализации DropKey

Вообще говоря, ViT будет накладывать несколько уровней внимания для постепенного изучения многомерных функций. Обычно более мелкие слои извлекают низкоразмерные визуальные особенности, а глубокие слои предназначены для извлечения грубой, но сложной информации о пространстве моделирования. Поэтому в этом исследовании делается попытка установить меньшую вероятность падения для глубоких слоев, чтобы избежать потери важной информации о целевом объекте. В частности, DropKey не выполняет случайные сбросы с фиксированной вероятностью на каждом уровне, а постепенно снижает вероятность сбросов по мере увеличения количества слоев. Кроме того, исследование показало, что этот подход не только работает с DropKey, но и значительно повышает производительность Dropout.

Хотя метод структурированного сброса был подробно изучен в CNN, влияние этого метода на производительность ViT не изучалось. Чтобы выяснить, приведет ли эта стратегия к дальнейшему повышению производительности, в документе реализованы две структурированные формы DropKey, а именно DropKey-Block и DropKey-Cross. Среди них DropKey-Block удаляет непрерывную область в квадратном окне с центром в исходной точке, а DropKey-Cross удаляет непрерывную крестообразную область с центром в исходной точке, как показано на рисунке 3. Однако исследование показало, что подход структурированного снижения не привел к улучшению производительности.

CVPR 2023|两行代码高效缓解视觉Transformer过拟合,美图&国科大联合提出正则化方法DropKey

##Рис. 3 Структурированный метод реализации DropKey

Результаты эксперимента

CVPR 2023|两行代码高效缓解视觉Transformer过拟合,美图&国科大联合提出正则化方法DropKey

#Рис. 4. Сравнение эффективности DropKey и Dropout при сравнении CIFAR10/100

CVPR 2023|两行代码高效缓解视觉Transformer过拟合,美图&国科大联合提出正则化方法DropKey#Рис. 5. Сравнение эффектов визуализации карты внимания DropKey и Dropout на CIFAR100


CVPR 2023|两行代码高效缓解视觉Transformer过拟合,美图&国科大联合提出正则化方法DropKeyРис. 6. Сравнение производительности различных стратегий настройки вероятности падения


CVPR 2023|两行代码高效缓解视觉Transformer过拟合,美图&国科大联合提出正则化方法DropKeyРис. 7. Сравнение производительности различных стратегий выравнивания ожидаемых результатов


CVPR 2023|两行代码高效缓解视觉Transformer过拟合,美图&国科大联合提出正则化方法DropKeyРис. 8. Сравнение производительности различных методов структурированного удаления


##Рис. 9. Сравнение производительности DropKey и Dropout в ImageNetCVPR 2023|两行代码高效缓解视觉Transformer过拟合,美图&国科大联合提出正则化方法DropKey


Рис. 10. Сравнение производительности DropKey и Dropout на COCOCVPR 2023|两行代码高效缓解视觉Transformer过拟合,美图&国科大联合提出正则化方法DropKey


CVPR 2023|两行代码高效缓解视觉Transformer过拟合,美图&国科大联合提出正则化方法DropKey

##Рис. 11. Сравнение производительности DropKey и Dropout на HICO-DET


CVPR 2023|美圖&國科大聯合提出DropKey正規化方法:用兩行程式碼高效避免視覺Transformer過擬合問題##Рис. 12. Сравнение производительности DropKey и Dropout на HICO-DET



Рис. 13 Визуальное сравнение карт внимания между DropKey и Dropout на HICO-DET

#Summary

#В этой статье новаторски предлагается регуляризатор для ViT, чтобы облегчить проблему переобучения ViT. По сравнению с существующими регуляризаторами, этот метод может обеспечить плавное распределение внимания для слоя внимания, просто установив Key в качестве перетаскиваемого объекта. Кроме того, в статье также предлагается новая стратегия установки вероятности падения, которая успешно стабилизирует тренировочный процесс, одновременно эффективно уменьшая переобучение. Наконец, в статье также исследуется влияние методов структурированного падения на производительность модели.

以上是CVPR 2023|美圖&國科大聯合提出DropKey正規化方法:用兩行程式碼高效避免視覺Transformer過擬合問題的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述
本文轉載於:机器之心。如有侵權,請聯絡admin@php.cn刪除
Llama 3.1 vs Llama 3:哪個更好?Llama 3.1 vs Llama 3:哪個更好?Apr 15, 2025 am 10:53 AM

Meta的Llama 3.1 70b和Llama 3 70b:詳細的比較 Meta最近發布了Llama 3.1,包括70B參數模型,以及較大和較小的變體。 此次升級是在三個月前的Llama 3發布之後發布的。而駱駝3.1

您可以免費開始的7個AI PPT製造商!您可以免費開始的7個AI PPT製造商!Apr 15, 2025 am 10:51 AM

釋放您的演示文稿能力:7個免費的AI驅動PowerPoint Maker 無論您是製作傑出的頂峰項目的最後一年學生還是忙碌的專業雜耍會議和演講,給人留下深刻的印像都是至關重要的。

什麼是Power BI語義模型?什麼是Power BI語義模型?Apr 15, 2025 am 10:46 AM

介紹 想像一個場景:您的團隊被來自不同來源的大量數據集所淹沒。 整合,分類和分析此信息以進行有意義的演示是一個挑戰。這是Power BI語義模型(PBISM)EX

如何使用Llama索引和Monsterapi建立AI代理如何使用Llama索引和Monsterapi建立AI代理Apr 15, 2025 am 10:44 AM

AI特工:由Llamaindex和Monsterapi提供支持的AI的未來 AI代理有望徹底改變我們與技術的互動方式。 這些自主系統模仿人類行為,執行需要推理,決策和REA的任務

在沒有人類干預的情況下訓練LLM的7種方法在沒有人類干預的情況下訓練LLM的7種方法Apr 15, 2025 am 10:38 AM

解鎖自治AI:自我訓練LLMS的7種方法 想像一個未來AI系統在沒有人類干預的情況下學習和發展的未來,就像孩子獨立掌握複雜概念的孩子一樣。這不是科幻小說;這是自我的應許

通過AI和NLG進行財務報告 - 分析Vidhya通過AI和NLG進行財務報告 - 分析VidhyaApr 15, 2025 am 10:35 AM

AI驅動的財務報告:通過自然語言產生革新見解 在當今動態的業務環境中,準確及時的財務分析對於戰略決策至關重要。 傳統財務報告

這款Google DeepMind機器人會在2028年奧運會上演奏嗎?這款Google DeepMind機器人會在2028年奧運會上演奏嗎?Apr 15, 2025 am 10:16 AM

Google DeepMind的乒乓球機器人:體育和機器人技術的新時代 巴黎2024年奧運會可能已經結束,但是由於Google DeepMind,運動和機器人技術的新時代正在興起。 他們的開創性研究(“實現人類水平的競爭

使用Gemini Flash 1.5型號構建食物視覺網絡應用使用Gemini Flash 1.5型號構建食物視覺網絡應用Apr 15, 2025 am 10:15 AM

雙子座閃光燈1.5解鎖效率和可伸縮性:燒瓶食物視覺webapp 在快速發展的AI景觀中,效率和可擴展性至關重要。 開發人員越來越多地尋求高性能模型,以最大程度地減少成本和延遲

See all articles

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

AI Hentai Generator

AI Hentai Generator

免費產生 AI 無盡。

熱門文章

R.E.P.O.能量晶體解釋及其做什麼(黃色晶體)
4 週前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.最佳圖形設置
4 週前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.如果您聽不到任何人,如何修復音頻
4 週前By尊渡假赌尊渡假赌尊渡假赌
WWE 2K25:如何解鎖Myrise中的所有內容
1 個月前By尊渡假赌尊渡假赌尊渡假赌

熱工具

VSCode Windows 64位元 下載

VSCode Windows 64位元 下載

微軟推出的免費、功能強大的一款IDE編輯器

EditPlus 中文破解版

EditPlus 中文破解版

體積小,語法高亮,不支援程式碼提示功能

SublimeText3 Linux新版

SublimeText3 Linux新版

SublimeText3 Linux最新版

Dreamweaver CS6

Dreamweaver CS6

視覺化網頁開發工具

DVWA

DVWA

Damn Vulnerable Web App (DVWA) 是一個PHP/MySQL的Web應用程序,非常容易受到攻擊。它的主要目標是成為安全專業人員在合法環境中測試自己的技能和工具的輔助工具,幫助Web開發人員更好地理解保護網路應用程式的過程,並幫助教師/學生在課堂環境中教授/學習Web應用程式安全性。 DVWA的目標是透過簡單直接的介面練習一些最常見的Web漏洞,難度各不相同。請注意,該軟體中