저비용 알고리즘으로 시각적 분류의 견고성이 크게 향상됩니다! 시드니대학교 중국팀, 새로운 EdgeNet 방식 출시

심층 신경망(DNN)에서 뛰어난 정확도를 보여줍니다. 그러나 추가적인 노이즈, 즉 적대적 공격에 취약한 것으로 나타났습니다. 이전 연구에서는 이 취약점이 질감 및 배경과 같은 사소하고 제한되지 않은 기능에 대한 고정밀 DNN의 과도한 의존에서 비롯될 수 있다고 가정했습니다. 그러나 새로운 연구에 따르면 이 취약점은 가중치 및 컨텍스트와 같은 관련 없는 요소를 지나치게 신뢰하는 매우 정확한 DNN의 특정 특성과는 아무런 관련이 없는 것으로 나타났습니다.

최근 AAAI 2024 학술회의에서 시드니 대학의 연구원들은 “이미지에서 추출된 가장자리 정보는 모양 및 배경과 관련된 관련성이 높고 강력한 기능을 제공할 수 있다”고 밝혔습니다.

문서 링크: https://ojs.aaai.org/index.php/AAAI/article/view/28110

이러한 기능은 사전 훈련된 심층 네트워크가 적대적 견고성을 향상하는 데 도움이 됩니다. , 선명한 이미지의 정확도에는 영향을 주지 않습니다.

연구원들은 시각적 분류 제품군을 위한 최신 세대의 고급 모델인 ViT(Vision Transformers)를 포함하여 기존 사전 훈련된 심층 네트워크에 원활하게 통합될 수 있는 가볍고 적응 가능한 EdgeNet을 제안합니다.

EdgeNet은 깨끗한 자연 이미지 또는 시끄러운 적대적 이미지에서 추출된 에지를 처리하는 에지 추출 기술로, 사전 훈련되고 동결된 백본 딥 네트워크의 중간 계층에 주입될 수 있습니다. 이 심층 네트워크는 뛰어난 백본 견고성 특성을 가지며 풍부한 의미 정보를 포함하는 특성을 추출할 수 있습니다. EdgeNet을 이러한 네트워크에 삽입하면 고품질 백본 딥 네트워크

를 활용할 수 있습니다. 이 접근 방식은 추가 비용을 최소화한다는 점에 유의해야 합니다. 기사에서 언급한 것과 같은 전통적인 에지 감지 알고리즘을 사용합니다. 이러한 에지(Canny 에지 감지기)를 획득하는 비용은 심층 네트워크의 추론 비용에 비해 아주 적은 반면, EdgeNet 교육 비용은 어댑터와 같은 기술을 사용하여 백본 네트워크를 미세 조정하는 비용과 비슷합니다.

EdgeNet Architecture

이미지의 에지 정보를 사전 훈련된 백본 네트워크에 주입하기 위해 저자는 EdgeNet이라는 측면 분기 네트워크를 소개합니다. 이 경량의 플러그 앤 플레이 담보 네트워크는 ViT와 같은 최첨단 모델을 포함하여 사전 훈련된 기존 심층 네트워크에 원활하게 통합될 수 있습니다.

입력 이미지에서 추출된 에지 정보를 기반으로 EdgeNet+를 실행하면 강력한 기능 세트를 생성할 수 있습니다. 이 프로세스는 심층 네트워크의 중간 계층에서 동결하기 위해 사전 훈련된 백본 심층 네트워크에 선택적으로 주입될 수 있는 강력한 기능을 생성합니다.

이러한 강력한 기능을 주입함으로써 적의 교란으로부터 방어하는 네트워크의 능력을 향상시킬 수 있습니다. 동시에, 백본 네트워크가 동결되고 새로운 기능의 주입이 선택적으로 이루어지기 때문에 교란되지 않은 선명한 이미지를 식별하는 사전 훈련된 네트워크의 정확도가 유지될 수 있습니다.

그림과 같이 저자는 원래의 빌딩 블록을 기준으로 특정 간격 N으로 새로운 EdgeNet 빌딩 블록을 삽입합니다. 새로운 중간 계층 출력은 다음 공식으로 표현될 수 있습니다.

EdgeNet 빌딩 블록

선택적 특징 추출 및 선택적 특징 주입을 달성하기 위해 이러한 EdgeNet 빌딩 블록은 "샌드위치" 구조를 채택합니다. 제로 컨볼루션)을 블록 전후에 추가하여 입력과 출력을 제어합니다. 이 두 개의 제로 컨볼루션 사이에는 무작위 초기화 및 백본 네트워크와 동일한 아키텍처를 갖춘 ViT 블록이 있습니다

입력이 0인 경우 출력이 0인 경우 최적화 목표와 관련된 정보를 추출하는 필터 역할을 하며 백본에 통합할 정보를 결정하는 필터 역할을 합니다. 또한 초기화를 하지 않으면 백본 내의 정보 흐름이 영향을 받지 않는 것이 보장됩니다. 결과적으로 EdgeNet의 후속 미세 조정이 더욱 간소화됩니다.

Training target

EdgeNet 학습 과정에서 사전 학습된 ViT 백본 네트워크는 분류 헤드를 제외하고 동결되어 업데이트되지 않습니다. 최적화 목표는 에지 기능에 도입된 EdgeNet 네트워크와 백본 네트워크 내의 분류 헤드에만 중점을 둡니다. 여기에서 저자는 훈련의 효율성을 보장하기 위해 매우 단순화된 공동 최적화 목표를 채택했습니다.

공식 9에서 α는 정확도 손실 함수의 가중치이고 β는 견고성 손실 함수의 가중치입니다. α와 β의 크기를 조정함으로써 EdgeNet 훈련 목표의 균형을 미세 조정하여 정확도를 크게 잃지 않으면서 견고성을 향상시키는 목적을 달성할 수 있습니다.

실험 결과

저자는 ImageNet 데이터 세트에서 두 가지 주요 범주의 견고성을 테스트했습니다.

첫 번째 범주는 화이트박스 공격 및 블랙박스 공격을 포함한 적대적 공격에 대한 견고성입니다.

두 번째 범주는 ImageNet-A Natural Adversarial의 자연적인 교란을 포함하여 일부 일반적인 교란에 대한 견고성입니다. 예, ImageNet-R의 배포 외 데이터 및 ImageNet-C의 일반적인 손상.

저자는 다양한 섭동 하에서 추출된 에지 정보도 시각화했습니다.

네트워크 규모 및 성능 테스트

실험 부분에서 저자는 먼저 다양한 규모에서 EdgeNet의 분류 성능과 계산 오버헤드를 테스트했습니다(표 1). 분류 성능과 계산 오버헤드를 종합적으로 고려한 후 #Intervals = 3의 구성이 최적의 설정이라고 판단했습니다.

이 구성에서 EdgeNet은 기본 모델에 비해 상당한 정확성과 견고성 향상을 달성합니다. 분류 성능, 계산 요구 사항 및 견고성 간의 균형 잡힌 절충안을 달성합니다.

이 구성은 합리적인 계산 효율성을 유지하면서 명확성 정확성과 견고성 측면에서 상당한 이점을 얻습니다.

정확도 및 견고성 비교

저자는 제안된 EdgeNet을 SOTA 방법의 5가지 범주와 비교했습니다(표 2). 이러한 방법에는 자연 이미지에 대해 훈련된 CNN, 강력한 CNN, 자연 이미지에 대해 훈련된 ViT, 강력한 ViT 및 강력하고 미세 조정된 ViT가 포함됩니다.

고려된 측정 항목에는 적대적 공격(FGSM 및 PGD)에서의 정확도, ImageNet-A의 정확도, ImageNet-R의 정확도가 포함됩니다.

또한 ImageNet-C의 평균 오류(mCE)도 보고되며, 값이 낮을수록 성능이 더 우수함을 나타냅니다. 실험 결과에 따르면 EdgeNet은 FGSM 및 PGD 공격에 직면했을 때 뛰어난 성능을 보이는 동시에 깨끗한 ImageNet-1K 데이터 세트 및 그 변형에 대해 이전 SOTA 방법과 동등한 성능을 발휘하는 것으로 나타났습니다.

이 밖에도 저자는 블랙박스 공격 실험도 진행했다(표 3). 실험 결과에 따르면 EdgeNet은 블랙박스 공격에도 매우 효과적으로 저항할 수 있는 것으로 나타났습니다.

결론

본 연구에서 저자는 이미지 섹스에서 추출한 에지 정보를 활용하여 심층 신경망(특히 ViTs)의 견고성을 향상할 수 있는 EdgeNet이라는 새로운 방법을 제안했습니다.

이는 기존 네트워크에 원활하게 통합될 수 있는 경량 모듈로, 적의 견고성을 효과적으로 향상시킬 수 있습니다. 실험에 따르면 EdgeNet은 효율적이며 최소한의 추가 계산 오버헤드만 가져옵니다.

또한 EdgeNet은 다양하고 강력한 벤치마크에 폭넓게 적용할 수 있습니다. 이는 해당 분야에서 주목할만한 발전입니다.

또한 실험 결과는 EdgeNet이 적의 공격에 효과적으로 저항하고 깨끗한 이미지의 정확성을 유지할 수 있음을 확인합니다. 이는 시각적 분류 작업에서 강력하고 관련성 높은 기능인 에지 정보의 잠재력을 강조합니다.

EdgeNet의 견고성은 적대적 공격에 국한되지 않고 자연적 적대적 예(ImageNet-A), 배포 외부 데이터(ImageNet-R) 및 공통 파괴(ImageNet-C) 시나리오와 관련된 공격도 포함한다는 점은 주목할 가치가 있습니다. .

이 광범위한 애플리케이션은 EdgeNet의 다양성을 강조하고 시각적 분류 작업의 다양한 문제에 대한 포괄적인 솔루션으로서의 잠재력을 보여줍니다.

위 내용은 저비용 알고리즘으로 시각적 분류의 견고성이 크게 향상됩니다! 시드니대학교 중국팀, 새로운 EdgeNet 방식 출시의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!