低成本演算法，大幅提升視覺分類穩健性！雪梨大學華人團隊發布全新EdgeNet方法

在深度神經網路（DNNs）中，展現出了卓越的準確性。然而，它們對額外噪音，即對抗性攻擊，表現出了脆弱性。先前的研究設這種脆弱性可能源自於高準確度的DNNs過度依賴紋理和背景等無關緊要且不受限制的特徵。然而，新的研究揭示了這種脆弱性與高準確度的DNNs過度信任其權重及背景等無關因素的特定特徵無關。

在最近的AAAI 2024學術會議上，雪梨大學的研究人員揭示了「從圖像中提取的邊緣資訊能夠提供與形狀和背景相關的相關性強且魯棒的特徵」。

論文連結：https://ojs.aaai.org/index.php/AAAI/article/view/28110

#這些特徵在幫助預訓練深度網路改善對抗穩健性的同時，還不影響其在清晰影像上的準確性。

研究人員提出了一種輕量級且適用的EdgeNet，可無縫整合到現有的預訓練深度網路中，包括Vision Transformers（ViTs），這是最新一代用於視覺分類的先進模型家族。

EdgeNet是一種處理從乾淨的自然圖像或嘈雜的對抗性圖像中提取的邊緣的邊緣緣提取技術，可以注入到預訓練好並被凍結的骨幹深度網路的中間層。這種深度網路具有優秀的骨幹魯棒性特徵，可以提取具有豐富語意資訊的特徵。透過將EdgeNet插入到這樣的網路中，可以利用其高品質的骨幹深度網路

#需要注意的是，這種方法帶來的額外成本極低：使用傳統的邊緣偵測演算法（例如文中所提到的Canny邊緣偵測器）取得這些邊緣的成本與深度網路的推理成本相比微乎其微；而訓練EdgeNet的成本則與使用諸如Adapter等技術對骨幹網路進行微調的成本不相上下。

EdgeNet 架構

為了將影像中的邊緣資訊注入到預訓練的骨幹網路中，作者引入了一個名為EdgeNet的側支網路。這個輕量級、即插即用的側枝網路可以無縫地整合到現有的預訓練深度網路中，包括像ViTs這樣的最新模型。

經過輸入影像中提取的邊緣資訊運行，EdgeNet 可以產生一組具有穩健性的特徵。這個過程產生了一個具有魯棒性的特徵，有魯棒性的特徵可以被選擇性地註入到預訓練好的骨幹深度網路中，以便在深度網路的中間層中進行凍結。

透過注入這些穩健特徵，能夠提升網路在防禦對抗性擾動方面的能力。同時，由於骨幹網路是被凍結的，而新特徵的注入是有選擇性的，所以可以保持預訓練網路在識別未經擾動的清晰圖像方面的準確性。

如圖所示，作者在原有的建構塊基礎上，以一定間隔N 插入新的EdgeNet 構建塊。新的中間層輸出可以由以下公式表示：

EdgeNet 構建塊

為了實現選擇性特徵提取和選擇性特徵注入，這些EdgeNet 構建塊採取了一種「三明治」結構：每個塊的前後都添加了零卷積（zero convolution）來控制輸入與輸出。在這兩個零卷積之間是一個具有隨機初始化的、與骨幹網路架構相同的 ViT block

#

При нулевом входе действует как фильтр для извлечения информации, соответствующей цели оптимизации; при нулевом выходе действует как фильтр для определения информации, которая должна быть интегрирована в магистраль . Кроме того, при нулевой инициализации гарантируется, что поток информации внутри магистральной сети останется неизменным. В результате последующая тонкая настройка EdgeNet становится более упрощенной.

Цели обучения

В процессе обучения EdgeNet предварительно обученная магистральная сеть ViT замораживается, за исключением головы классификации, и не обновляется. Цель оптимизации фокусируется только на сети EdgeNet, представленной для периферийных функций, и на головках классификации внутри магистральной сети. Здесь автор принимает очень упрощенную цель совместной оптимизации для обеспечения эффективности обучения:

##В формуле 9 α — потеря точности. Вес функции, β — вес функции потери устойчивости. Регулируя размер α и β, можно точно настроить баланс целей обучения EdgeNet для достижения цели повышения его надежности без существенной потери точности.

Результаты эксперимента

Авторы проверили надежность двух основных категорий в наборе данных ImageNet.

Первая категория — устойчивость к состязательным атакам, включая атаки «белого ящика» и «черного ящика»;

Вторая категория — устойчивость к некоторые распространенные нарушения, в том числе примеры естественного состязания в ImageNet-A, данные вне распределения в ImageNet-R и распространенные искажения данных в ImageNet-C (общие искажения).

Автор также визуализировал информацию о краях, полученную при различных возмущениях.

#Масштабирование сети и тест производительности

##В экспериментальной части автор Сначала были протестированы производительность классификации и вычислительные затраты EdgeNet разных размеров (таблица 1). После всестороннего рассмотрения производительности классификации и вычислительных затрат они определили, что конфигурация #Intervals = 3 является оптимальной.

В этой конфигурации EdgeNet достигает значительного повышения точности и надежности по сравнению с базовыми моделями. Он обеспечивает сбалансированный компромисс между производительностью классификации, вычислительными требованиями и надежностью.

Эта конфигурация обеспечивает существенный выигрыш в четкости, точности и надежности при сохранении разумной вычислительной эффективности.

##Z сравнивались категории методов SOTA (табл. 2). Эти методы включают CNN, обученные на естественных изображениях, надежные CNN, ViT, обученные на естественных изображениях, надежные ViT и надежные точно настроенные ViT.

Рассматриваемые показатели включают точность при состязательных атаках (FGSM и PGD), точность в ImageNet-A и точность в ImageNet-R.

Кроме того, также сообщается о средней ошибке (mCE) ​​ImageNet-C: более низкие значения указывают на лучшую производительность. Экспериментальные результаты показывают, что EdgeNet демонстрирует превосходную производительность перед лицом атак FGSM и PGD, при этом работая на одном уровне с предыдущими методами SOTA на чистом наборе данных ImageNet-1K и его вариантах.

Кроме того, автор также проводил эксперименты по атаке черного ящика (Таблица 3). Результаты экспериментов показывают, что EdgeNet также может очень эффективно противостоять атакам типа «черный ящик».

Заключение

#В этой работе автор предложил новый метод под названием EdgeNet, который может повысить надежность глубоких нейронных сетей (особенно ViT).

Это легкий модуль, который можно легко интегрировать в существующие сети и эффективно повысить устойчивость к состязательным атакам. Эксперименты показали, что EdgeNet эффективен — он требует лишь минимальных дополнительных вычислительных затрат.

Кроме того, EdgeNet имеет широкую применимость в различных надежных тестах. Это делает его заслуживающим внимания достижением в этой области.

Кроме того, экспериментальные результаты подтверждают, что EdgeNet может эффективно противостоять состязательным атакам и поддерживать точность чистых изображений, что подчеркивает роль информации о краях как надежного инструмента в задачах визуальной классификации. потенциал связанных функций.

Стоит отметить, что надежность EdgeNet не ограничивается состязательными атаками, но также охватывает данные, включающие естественные состязательные примеры (ImageNet-A), данные вне распространения (ImageNet-R) и сценарии общего уничтожения (ImageNet-C).

Это более широкое применение подчеркивает универсальность EdgeNet и показывает его потенциал как комплексного решения разнообразных задач визуальной классификации.

以上是低成本演算法，大幅提升視覺分類穩健性！雪梨大學華人團隊發布全新EdgeNet方法的詳細內容。更多資訊請關注PHP中文網其他相關文章！