반전 기능으로 인해 re-id 모델이 88.54%에서 0.15%로 변경됩니다.

이 기사의 첫 번째 버전은 2018년 5월에 작성되었으며, 최근 2022년 12월에 출판되었습니다. 저는 지난 4년 동안 상사들로부터 많은 지지와 이해를 받았습니다.

(이번 경험이 논문을 제출하는 학생들에게도 조금이나마 용기가 되기를 바랍니다. 논문을 잘 쓰면 반드시 승리할 것입니다. 쉽게 포기하지 마세요!)

초기 버전 arXiv는: 반대 방향을 통한 쿼리 공격 기능: 강력한 이미지 검색을 향하여

문서 링크: https://link.springer.com/article/10.1007/s11263-022-01737-y

종이 백업 링크: https:/ /zdzheng.xyz/files/IJCV_Retrieval_Robustness_CameraReady.pdf

코드: https://github.com/layumi/U_turn

저자: Zhedong Zheng, Liang Zheng, Yi Yang 및 Fei Wu

이전 버전과 비교하여

• 공식을 일부 조정했습니다.
• 새로운 관련 작품 토론이 많이 추가되었습니다. 다중 규모 쿼리 공격/블랙박스 공격/세 가지 다른 각도에서 실험 방어
• Food256, Market-1501, CUB, Oxford, Paris 및 기타 데이터 세트에 새로운 방법과 최신 시각화 방법을 추가합니다.
• Cifar10의 Reid 및 WiderResNet에서 PCB 구조를 공격했습니다.
• 실제 사례
실제 사용 사례입니다. 예를 들어 Google이나 Baidu의 이미지 검색 시스템을 공격하여 빅뉴스(안개)를 만들고자 합니다. 개 이미지를 다운로드하고, 이미지넷 모델(또는 다른 모델, 바람직하게는 검색 시스템에 가까운 모델)을 통해 특징을 계산하고, 특징을 뒤집어서 적대적 노이즈 플러스를 계산할 수 있습니다(이 기사의 방법). 개로 돌아갑니다. 그런 다음 공격 후 개에 대한 이미지 검색 기능을 사용하면 Baidu와 Google의 시스템이 개 관련 콘텐츠를 반환할 수 없음을 알 수 있습니다. 우리 인간은 이것이 개의 이미지라는 것을 여전히 인식할 수 있습니다.

P.S. 저도 이미지 검색을 위해 Google을 공격해 보았습니다. 사람들은 여전히 ​​강아지 이미지라는 것을 인식할 수 있지만 Google은 종종 "모자이크" 관련 이미지를 반환합니다. Google은 딥 기능을 모두 사용하지 않거나 이미지넷 모델과 상당히 다르기 때문에 공격 후에는 다른 엔터티 카테고리(비행기 등) 대신 "모자이크"되는 경향이 있는 것으로 추정됩니다. 물론 모자이크는 어느 정도 성공했다고 볼 수 있습니다!

What

1. 이 글의 본래 의도는 사실 매우 간단합니다. 기존의 레이드 모델이나 랜드스케이프 검색 모델이 Recall-1 리콜율이 95%를 넘으니 공격 방법을 설계할 수 있을까요? 검색? 한편으로는 REID 모델의 배경을 살펴보고, 반면에 공격은 더 나은 방어를 위한 것입니다.

2. 검색 모델과 기존 분류 모델의 차이점은 검색 모델은 추출된 특징을 사용하여 결과를 비교(정렬)한다는 점인데, 이는 아래 표와 같이 기존 분류 모델과 상당히 다릅니다.

3. 검색 문제의 또 다른 특징은 개방형입니다. 이는 테스트 중 범주가 훈련 중에 종종 표시되지 않음을 의미합니다. 새끼 데이터 세트에 대해 잘 알고 계시다면, 검색 설정에서 훈련 중 훈련 세트에는 100종 이상의 새가 있고, 테스트 세트에는 100종 이상의 새가 중복되지 않습니다. 유형. 일치 및 순위 지정은 추출된 시각적 특징에만 전적으로 의존합니다. 따라서 일부 분류 공격 방법은 공격 시 카테고리 예측을 기반으로 한 기울기가 부정확한 경우가 많기 때문에 검색 모델을 공격하는 데 적합하지 않습니다.

4. 검색 모델을 테스트할 때 데이터는 두 부분으로 나누어집니다. 하나는 이미지 쿼리이고 다른 하나는 이미지 갤러리입니다(데이터 양이 많아 일반적으로 액세스할 수 없음). 실제 타당성을 고려하여 우리의 방법은 주로 공격 쿼리의 이미지를 대상으로 잘못된 검색 결과를 유발합니다.

어떻게

1. 자연스러운 생각은 공격 특성입니다. 그렇다면 기능을 공격하는 방법은 무엇입니까? 교차 엔트로피 손실에 대한 이전 관찰을 바탕으로 합니다(큰 마진 소프트맥스 손실 기사 참조). 분류 손실을 사용할 때 특징 f는 방사형 분포를 갖는 경우가 많습니다. 이는 학습 시 특징과 마지막 분류 레이어의 가중치 W 사이에 cos 유사성을 계산하기 때문입니다. 아래 그림에서 볼 수 있듯이 모델을 학습한 후에는 동일한 카테고리의 샘플이 해당 카테고리의 W 근처에 분포되므로 f*W가 최대값에 도달할 수 있습니다.

2. 그래서 우리는 기능을 바꾸는 매우 간단한 방법을 생각해 냈습니다. 아래 그림에서 볼 수 있듯이 실제로 함께 시각화할 수 있는 두 가지 일반적인 분류 공격 방법이 있습니다. 예를 들어 (a)는 -Wmax를 제공하여 분류 확률이 가장 높은 범주(예: Fast Gradient)를 억제하는 것이므로 (b)와 같이 역 Wmax를 따라 빨간색 그라데이션 전파 방향이 있습니다. 가능성이 가장 낮은 범주를 억제하는 방법입니다. 가능한 범주의 기능이 표시되므로(예: 가능성이 가장 낮음) 빨간색 그라데이션이 Wmin을 따릅니다.

3. 이 두 가지 분류 공격 방법은 물론 전통적인 분류 문제에 매우 직접적이고 효과적입니다. 그러나 검색 문제의 테스트 세트는 모두 보이지 않는 범주(보이지 않는 새 종)이므로 자연 f의 분포는 Wmax 또는 Wmin에 꼭 맞지 않습니다. 따라서 우리의 전략은 매우 간단합니다. 그림 (c)와 같이 f를 -f로 이동합니다.

이런 식으로 특성 매칭 단계에서 순위가 ​​높은 결과는 이상적으로는 -f와의 cos 유사도를 1에 가까운 것부터 -1에 가까운 것으로 계산할 때 가장 낮은 순위로 지정됩니다.

공격 검색 정렬 효과를 달성했습니다.

4. 작은 확장. 검색 문제에서는 쿼리 확대를 위해 멀티 스케일을 사용하는 경우도 많기 때문에 이 경우 공격 효과를 유지하는 방법도 연구했습니다. (가장 어려운 점은 크기 조정 작업이 작지만 중요한 불안감을 완화할 수 있다는 것입니다.)

사실 이를 처리하는 방법도 모델 앙상블과 마찬가지로 매우 간단합니다. 여러 척도의 적대적 기울기를 평균화합니다. 앙상블로요.

실험

1. 3개의 데이터 세트와 3개의 지표에서 가로 좌표의 엡실론인 지터 진폭을 고정하고 동일한 지터 진폭에서 검색 모델이 더 많은 실수를 하게 만드는 방법을 비교했습니다. 우리의 방법은 노란색 선이 모두 아래쪽에 있다는 것입니다. 이는 공격 효과가 더 좋다는 것을 의미합니다.

2 동시에 5개 데이터 세트(Food, CUB, Market, Oxford, Paris)에 대한 정량적 실험 결과도 제공합니다. 모델 메커니즘을 시연하면서 Cifar10의 분류 모델을 공격하려고 했습니다.

기능의 마지막 레이어를 변경하는 우리의 전략에도 상위 5위권에 대한 강력한 억제력이 있음을 알 수 있습니다. 상위 1위의 경우 후보군을 뽑지 않았기 때문에 최소 가능성보다는 약간 낮겠지만 거의 비슷합니다.

4. 블랙박스 공격

또한 ResNet50에서 생성된 공격 샘플을 사용하여 블랙박스 DenseNet 모델을 공격하려고 했습니다(이 모델의 매개변수는 우리가 사용할 수 없습니다). 더 나은 마이그레이션 공격 능력도 달성할 수 있는 것으로 나타났습니다.

5. 반격

우리는 방어 모델을 훈련하기 위해 온라인 적대 훈련을 사용합니다. 우리는 이 모델이 여전히 새로운 화이트박스 공격을 수용할 수 없지만 완전히 무방비인 모델보다 작은 불안감(점을 덜 떨어뜨리는)에서 더 안정적이라는 것을 발견했습니다.

6. 특징 이동 시각화

이것도 제가 가장 좋아하는 실험입니다. Cifar10을 사용하여 마지막 분류 레이어의 차원을 2로 변경하여 분류 레이어의 특징 변화를 플롯합니다.

아래 그림과 같이 지터 진폭 엡실론이 증가함에 따라 샘플의 특성이 천천히 "돌아가는" 것을 볼 수 있습니다. 예를 들어 대부분의 주황색 기능이 반대쪽으로 이동했습니다.

위 내용은 반전 기능으로 인해 re-id 모델이 88.54%에서 0.15%로 변경됩니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!