搜尋
首頁科技週邊人工智慧CVPR 2023|美圖&國科大聯合提出DropKey正規化方法:用兩行程式碼高效避免視覺Transformer過擬合問題


近期,基於 Transformer 的演算法被廣泛應用於電腦視覺的各類任務中,但該類別演算法在訓練資料量較小時容易產生過擬合問題。現有 Vision Transformer 通常直接引入 CNN 中常用的 Dropout 演算法作為正則化器,其在註意力權重圖上進行隨機 Drop 並為不同深度的注意力層設置統一的 drop 機率。儘管 Dropout 十分簡單,但這種 drop 方式主要面臨三個主要問題。

首先,在softmax 歸一化後進行隨機Drop 會打破注意力權重的機率分佈並且無法對權重峰值進行懲罰,從而導致模型仍會過擬合於局部特定資訊(如圖1)。其次,網路深層較大的 Drop 機率會導致高層語意資訊缺失,而淺層中較小的 drop 機率會導致過度擬合於底層細節特徵,因此恆定的 drop 機率會導致訓練過程的不穩定。最後,CNN 中常用的結構化 drop 方式在 Vision Transformer 上的有效性並不明朗。

CVPR 2023|两行代码高效缓解视觉Transformer过拟合,美图&国科大联合提出正则化方法DropKey

圖1 不同正則化器對注意力分佈圖的影響

#美圖影像研究院(MT Lab)與中國科學院大學在CVPR 2023 上發表了一篇文章,提出一種新穎且即插即用的正則化器DropKey,該正則化器可以有效緩解Vision Transformer 中的過度擬合問題。

CVPR 2023|两行代码高效缓解视觉Transformer过拟合,美图&国科大联合提出正则化方法DropKey


Ссылка на документ: https://arxiv.org/abs/2208.02646

Следующие три основных вопроса обсуждаются в статья Исследовано:

#Во-первых, какую информацию следует поместить в слой внимания? В отличие от прямого сброса веса внимания, этот метод выполняет операцию сброса перед вычислением матрицы внимания и использует ключ в качестве базовой единицы сброса. Этот метод теоретически подтверждает, что регуляризатор DropKey может наказывать области с повышенным вниманием и назначать веса внимания другим областям, представляющим интерес, тем самым улучшая способность модели собирать глобальную информацию.

Во-вторых, как установить вероятность выпадения? По сравнению со всеми слоями, имеющими одну и ту же вероятность падения, в этой статье предлагается новый метод настройки вероятности падения, который постепенно уменьшает значение вероятности падения по мере углубления слоя самообслуживания.

В-третьих, необходимо ли выполнять структурированную операцию удаления, такую ​​как CNN? В этом методе был опробован подход структурированного перетаскивания, основанный на блочных и перекрестных окнах, и было обнаружено, что этот метод не важен для Vision Transformer.


Vision Transformer (ViT) — это новая технология в последних моделях компьютерного зрения. Парадигма широко используется в таких задачах, как распознавание изображений, сегментация изображений, обнаружение ключевых точек человеческого тела и взаимное обнаружение людей. В частности, ViT делит изображение на фиксированное количество блоков изображения, рассматривает каждый блок изображения как базовую единицу и вводит механизм самообслуживания с несколькими головками для извлечения информации об объектах, содержащей взаимные отношения. Однако существующие методы, подобные ViT, часто страдают от проблем переобучения на небольших наборах данных, то есть они используют только локальные функции цели для выполнения определенных задач.

Чтобы преодолеть вышеуказанные проблемы, в этой статье предлагается готовый к использованию регуляризатор DropKey, который можно реализовать с помощью всего двух строк кода для облегчения использования метода класса ViT. Проблема переобучения. В отличие от существующего Dropout, DropKey устанавливает Key для перетаскиваемого объекта и теоретически и экспериментально подтвердил, что это изменение может наказывать части с высокими значениями внимания, одновременно побуждая модель уделять больше внимания другим фрагментам изображения, связанным с целью, что полезно для захвата глобальных надежных функций. Кроме того, в документе также предлагается установить уменьшающиеся вероятности падения для постоянно углубляющихся слоев внимания, что позволяет избежать переобучения модели низкоуровневыми функциями, обеспечивая при этом достаточное количество высокоуровневых функций для стабильного обучения. Кроме того, в статье экспериментально доказано, что метод структурированной капли не является необходимым для ВиТ.

##DropKey

Чтобы изучить основные причины проблем переобучения, Данное исследование Во-первых, механизм внимания формализуется как простая цель оптимизации и анализируется его лагранжева форма разложения. Было обнаружено, что при постоянной оптимизации модели пятнам изображений с большей долей внимания на текущей итерации будет иметь тенденцию присваиваться больший вес внимания на следующей итерации. Чтобы решить эту проблему, DropKey неявно назначает адаптивный оператор каждому блоку внимания, случайным образом удаляя часть ключа, чтобы ограничить распределение внимания и сделать его более плавным. Стоит отметить, что по сравнению с другими регуляризаторами, предназначенными для конкретных задач, DropKey не требует ручного проектирования. Поскольку на этапе обучения в ключе выполняются случайные сбросы, что приведет к несогласованным ожидаемым результатам на этапах обучения и тестирования, этот метод также предлагает использовать методы Монте-Карло или методы точной настройки для согласования ожидаемых результатов. Более того, для реализации этого метода требуется всего две строки кода, как показано на рисунке 2.

CVPR 2023|两行代码高效缓解视觉Transformer过拟合,美图&国科大联合提出正则化方法DropKey

Рис. 2. Метод реализации DropKey

Вообще говоря, ViT будет накладывать несколько уровней внимания для постепенного изучения многомерных функций. Обычно более мелкие слои извлекают низкоразмерные визуальные особенности, а глубокие слои предназначены для извлечения грубой, но сложной информации о пространстве моделирования. Поэтому в этом исследовании делается попытка установить меньшую вероятность падения для глубоких слоев, чтобы избежать потери важной информации о целевом объекте. В частности, DropKey не выполняет случайные сбросы с фиксированной вероятностью на каждом уровне, а постепенно снижает вероятность сбросов по мере увеличения количества слоев. Кроме того, исследование показало, что этот подход не только работает с DropKey, но и значительно повышает производительность Dropout.

Хотя метод структурированного сброса был подробно изучен в CNN, влияние этого метода на производительность ViT не изучалось. Чтобы выяснить, приведет ли эта стратегия к дальнейшему повышению производительности, в документе реализованы две структурированные формы DropKey, а именно DropKey-Block и DropKey-Cross. Среди них DropKey-Block удаляет непрерывную область в квадратном окне с центром в исходной точке, а DropKey-Cross удаляет непрерывную крестообразную область с центром в исходной точке, как показано на рисунке 3. Однако исследование показало, что подход структурированного снижения не привел к улучшению производительности.

CVPR 2023|两行代码高效缓解视觉Transformer过拟合,美图&国科大联合提出正则化方法DropKey

##Рис. 3 Структурированный метод реализации DropKey

Результаты эксперимента

CVPR 2023|两行代码高效缓解视觉Transformer过拟合,美图&国科大联合提出正则化方法DropKey

#Рис. 4. Сравнение эффективности DropKey и Dropout при сравнении CIFAR10/100

CVPR 2023|两行代码高效缓解视觉Transformer过拟合,美图&国科大联合提出正则化方法DropKey#Рис. 5. Сравнение эффектов визуализации карты внимания DropKey и Dropout на CIFAR100


CVPR 2023|两行代码高效缓解视觉Transformer过拟合,美图&国科大联合提出正则化方法DropKeyРис. 6. Сравнение производительности различных стратегий настройки вероятности падения


CVPR 2023|两行代码高效缓解视觉Transformer过拟合,美图&国科大联合提出正则化方法DropKeyРис. 7. Сравнение производительности различных стратегий выравнивания ожидаемых результатов


CVPR 2023|两行代码高效缓解视觉Transformer过拟合,美图&国科大联合提出正则化方法DropKeyРис. 8. Сравнение производительности различных методов структурированного удаления


##Рис. 9. Сравнение производительности DropKey и Dropout в ImageNetCVPR 2023|两行代码高效缓解视觉Transformer过拟合,美图&国科大联合提出正则化方法DropKey


Рис. 10. Сравнение производительности DropKey и Dropout на COCOCVPR 2023|两行代码高效缓解视觉Transformer过拟合,美图&国科大联合提出正则化方法DropKey


CVPR 2023|两行代码高效缓解视觉Transformer过拟合,美图&国科大联合提出正则化方法DropKey

##Рис. 11. Сравнение производительности DropKey и Dropout на HICO-DET


CVPR 2023|美圖&國科大聯合提出DropKey正規化方法:用兩行程式碼高效避免視覺Transformer過擬合問題##Рис. 12. Сравнение производительности DropKey и Dropout на HICO-DET



Рис. 13 Визуальное сравнение карт внимания между DropKey и Dropout на HICO-DET

#Summary

#В этой статье новаторски предлагается регуляризатор для ViT, чтобы облегчить проблему переобучения ViT. По сравнению с существующими регуляризаторами, этот метод может обеспечить плавное распределение внимания для слоя внимания, просто установив Key в качестве перетаскиваемого объекта. Кроме того, в статье также предлагается новая стратегия установки вероятности падения, которая успешно стабилизирует тренировочный процесс, одновременно эффективно уменьшая переобучение. Наконец, в статье также исследуется влияние методов структурированного падения на производительность модели.

以上是CVPR 2023|美圖&國科大聯合提出DropKey正規化方法:用兩行程式碼高效避免視覺Transformer過擬合問題的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述
本文轉載於:机器之心。如有侵權,請聯絡admin@php.cn刪除
Gemma範圍:Google'用於凝視AI的顯微鏡Gemma範圍:Google'用於凝視AI的顯微鏡Apr 17, 2025 am 11:55 AM

使用Gemma範圍探索語言模型的內部工作 了解AI語言模型的複雜性是一個重大挑戰。 Google發布的Gemma Scope是一種綜合工具包,為研究人員提供了一種強大的探索方式

誰是商業智能分析師以及如何成為一位?誰是商業智能分析師以及如何成為一位?Apr 17, 2025 am 11:44 AM

解鎖業務成功:成為商業智能分析師的指南 想像一下,將原始數據轉換為驅動組織增長的可行見解。 這是商業智能(BI)分析師的力量 - 在GU中的關鍵作用

如何在SQL中添加列? - 分析Vidhya如何在SQL中添加列? - 分析VidhyaApr 17, 2025 am 11:43 AM

SQL的Alter表語句:動態地將列添加到數據庫 在數據管理中,SQL的適應性至關重要。 需要即時調整數據庫結構嗎? Alter表語句是您的解決方案。本指南的詳細信息添加了Colu

業務分析師與數據分析師業務分析師與數據分析師Apr 17, 2025 am 11:38 AM

介紹 想像一個繁華的辦公室,兩名專業人員在一個關鍵項目中合作。 業務分析師專注於公司的目標,確定改進領域,並確保與市場趨勢保持戰略一致。 simu

什麼是Excel中的Count和Counta? - 分析Vidhya什麼是Excel中的Count和Counta? - 分析VidhyaApr 17, 2025 am 11:34 AM

Excel 數據計數與分析:COUNT 和 COUNTA 函數詳解 精確的數據計數和分析在 Excel 中至關重要,尤其是在處理大型數據集時。 Excel 提供了多種函數來實現此目的,其中 COUNT 和 COUNTA 函數是用於在不同條件下統計單元格數量的關鍵工具。雖然這兩個函數都用於計數單元格,但它們的設計目標卻針對不同的數據類型。讓我們深入了解 COUNT 和 COUNTA 函數的具體細節,突出它們獨特的特性和區別,並學習如何在數據分析中應用它們。 要點概述 理解 COUNT 和 COU

Chrome在這裡與AI:每天都有新事物!Chrome在這裡與AI:每天都有新事物!Apr 17, 2025 am 11:29 AM

Google Chrome的AI Revolution:個性化和高效的瀏覽體驗 人工智能(AI)正在迅速改變我們的日常生活,而Google Chrome正在領導網絡瀏覽領域的負責人。 本文探討了興奮

AI的人類方面:福祉和四人底線AI的人類方面:福祉和四人底線Apr 17, 2025 am 11:28 AM

重新構想影響:四倍的底線 長期以來,對話一直以狹義的AI影響來控制,主要集中在利潤的最低點上。但是,更全面的方法認識到BU的相互聯繫

您應該知道的5個改變遊戲規則的量子計算用例您應該知道的5個改變遊戲規則的量子計算用例Apr 17, 2025 am 11:24 AM

事情正穩步發展。投資投入量子服務提供商和初創企業表明,行業了解其意義。而且,越來越多的現實用例正在出現以證明其價值超出

See all articles

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

AI Hentai Generator

AI Hentai Generator

免費產生 AI 無盡。

熱門文章

R.E.P.O.能量晶體解釋及其做什麼(黃色晶體)
1 個月前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.最佳圖形設置
1 個月前By尊渡假赌尊渡假赌尊渡假赌
威爾R.E.P.O.有交叉遊戲嗎?
1 個月前By尊渡假赌尊渡假赌尊渡假赌

熱工具

WebStorm Mac版

WebStorm Mac版

好用的JavaScript開發工具

Dreamweaver CS6

Dreamweaver CS6

視覺化網頁開發工具

Atom編輯器mac版下載

Atom編輯器mac版下載

最受歡迎的的開源編輯器

DVWA

DVWA

Damn Vulnerable Web App (DVWA) 是一個PHP/MySQL的Web應用程序,非常容易受到攻擊。它的主要目標是成為安全專業人員在合法環境中測試自己的技能和工具的輔助工具,幫助Web開發人員更好地理解保護網路應用程式的過程,並幫助教師/學生在課堂環境中教授/學習Web應用程式安全性。 DVWA的目標是透過簡單直接的介面練習一些最常見的Web漏洞,難度各不相同。請注意,該軟體中

Safe Exam Browser

Safe Exam Browser

Safe Exam Browser是一個安全的瀏覽器環境,安全地進行線上考試。該軟體將任何電腦變成一個安全的工作站。它控制對任何實用工具的訪問,並防止學生使用未經授權的資源。