개별 적대자부터 다양한 적대자까지: CVPR 2023은 일반화 가능한 다양한 적대적 공격을 탐구합니다.

99% 정확하다고 주장하는 안면 인식 시스템은 정말 깨지지 않을까요? 실제로 얼굴 인식 시스템은 시각적인 판단에 영향을 미치지 않는 얼굴 사진의 일부만 변경하면 쉽게 깨질 수 있습니다. 예를 들어 옆집 소녀와 남자 연예인이 동일한 사람으로 판단될 수 있습니다. 적대적 공격의 목표는 자연스럽고 신경망을 혼란스럽게 할 수 있는 적대적 샘플을 찾는 것입니다. 본질적으로 적대적 샘플을 찾는 것은 신경망의 취약점을 찾는 것입니다.

최근 동방공과대학 연구팀은 GMAA(generalized Many adversarial Attack)의 패러다임을 제안하여

전통적인 "점" 공격 모드를 "표면" 공격 모드로 승격하여 일반화 능력을 대폭 향상시켰습니다. 적대적 공격 모델을 개발하고 적대적 공격 작업에 대한 새로운 아이디어를 개발합니다.

이 연구는 대상 도메인과 적대 도메인 모두의 이전 작업을 개선합니다. 대상 도메인에서 본 연구는 대상 신원의 상태 집합을 공격하여 일반화가 높은 보다 강력한 적대적 예를 찾습니다. 적대적 영역의 경우, 이전 작업은 이산적 적대적 샘플을 찾는 것, 즉 시스템의 여러 "허점"(점)을 찾는 것인 반면, 이 연구는 연속적인 적대적 다양체, 즉 신경의 취약한 통합 부분을 찾는 것입니다. 네트워크. 조각 "영역"(얼굴). 또한 본 연구에서는 표현 편집에 대한 도메인 지식을 소개하고 표현 상태 공간 인스턴스화에 기반한 새로운 패러다임을 제안합니다. 생성된 적대적 다양체를 지속적으로 샘플링함으로써 지속적인 표정 변화로 고도로 일반화 가능한 적대적 샘플을 얻을 수 있습니다. 메이크업, 조명, 섭동 추가 등의 방법에 비해 표현 상태 공간이 더 보편적이고 자연스러우며 성별과 성별에 영향을 받지 않습니다. 조명.

연구 논문이 CVPR 2023에 승인되었습니다.

논문 링크: 논문을 보려면 여기를 클릭하세요

다시 작성해야 할 내용은 다음과 같습니다. 코드 링크 https://github.com/tokaka22/GMAA

소개 방법

대상에서 도메인 부분, 이전의 모든 작업은 대상 신원 A의 특정 사진에 대한 적대적 샘플을 디자인하는 것입니다. 그러나 그림 2에서 볼 수 있듯이 이 공격 방법으로 생성된 적대적 샘플을 사용하여 A의 다른 사진을 공격하면 공격 효과가 크게 감소합니다. 이러한 공격에 대비해 얼굴 인식 데이터베이스의 사진을 정기적으로 변경하는 것은 당연히 효과적인 방어 조치입니다. 그러나 본 연구에서 제안된 GMAA는 표적 신원의 단일 샘플에 대해 훈련할 뿐만 아니라 표적 신원 상태 세트를 공격할 수 있는 적대적 샘플도 찾습니다. 업데이트된 얼굴 인식 라이브러리. 좋은 공격 성능.

이러한 더욱 강력한 적대적 사례는 신경망의 약한 영역에도 해당하며 심층 탐구할 가치가 있습니다.

적대 분야의 이전 연구에서 사람들은 일반적으로 하나 또는 여러 개의 별개의 적대적 샘플을 찾습니다. 이는 고차원 공간에서 신경망이 취약한 하나 또는 여러 "점"을 찾는 것과 같습니다. 그러나 이 연구에서는 신경망이 "얼굴" 전체에 걸쳐 취약할 수 있으므로 이 "얼굴"에서 모든 적대적 사례를 찾아야 한다고 믿습니다. 따라서 본 연구의 목표는 고차원 공간에서 적대적 다양체를 찾는 것이다. 요약하면, GMAA는 적대적 다양체를 사용하여 표적 신원의 상태 집합을 공격하는 새로운 공격 패러다임이다.

기사의 핵심 아이디어인 그림 1을 참조하세요

구체적으로 본 연구에서는 FACS(Facial Action Coding System)를 도메인 지식으로 도입하여 제안하는 새로운 공격 패러다임을 예시합니다. . FACS는 얼굴을 서로 다른 근육 단위로 나누어서 표현하는 시스템으로, AU 벡터의 각 요소는 해당 단위의 근육 활동을 나타내며, 이를 통해 표정 상태를 인코딩합니다. . 예를 들어 아래 이미지에서 AU 벡터의 첫 번째 요소인 AU1은 눈썹 안쪽이 올라가는 정도를 나타냅니다. 연구는 적대적 필드에 대한 알려지지 않은 표적 사진에 대해 더 나은 공격 성능을 달성하기 위해 다양한 표현 상태의 표적 세트를 공격하는 것을 목표로 하며, 이 연구는 AU 공간에 대응하는 적대적 다양체를 설정하고, 적대적 다양체에서 적대적 다양체를 샘플링할 수 있습니다. AU 값 샘플, AU 값을 지속적으로 변경하여 지속적으로 표현이 바뀌는 적대적 샘플을 생성합니다

이 연구가 GMAA 공격 패러다임을 인스턴스화하기 위해 표현 상태 공간을 채택했다는 점은 주목할 가치가 있습니다. 이는 인간의 얼굴 활동에서 표정이 가장 일반적인 상태이고 표정 상태 공간이 상대적으로 안정적이며 인종이나 성별에 영향을 받지 않기 때문입니다(빛은 피부색을 바꿀 수 있고 화장은 성별에 영향을 줄 수 있음). 실제로, 다른 적합한 상태 공간을 찾을 수 있는 한, 이 공격 패러다임은 일반화되어 본질적으로 다른 적대적 공격 작업에 적용될 수 있습니다.

다시 작성해야 할 내용은 모델 결과입니다.

이 연구의 시각적 결과는 아래 애니메이션에 나와 있습니다. 애니메이션의 각 프레임은 적대적 다양체에서 샘플링하여 얻은 적대적 샘플입니다. 연속 샘플링을 통해 표현식이 지속적으로 변화하는 일련의 적대적 예를 얻을 수 있습니다(왼쪽). 애니메이션에서 빨간색 값은 Face++ 얼굴 인식 시스템에서 현재 프레임의 적대 샘플과 대상 샘플(오른쪽) 간의 유사성을 나타냅니다

표 1에는 2개의 블랙박스 공격에 4개의 얼굴 인식 모델이 나열되어 있습니다. 데이터 세트의 성공률. 그 중 MAA는 GMAA의 축소 버전으로 포인트 공격 모델을 적대 도메인의 다양한 공격으로만 확장합니다. 대상 도메인에서는 여전히 단일 대상 사진을 공격합니다. 공격 대상의 상태 세트는 일반적인 실험 설정으로 표 2의 MAA를 포함한 3가지 방법에 이 설정을 추가한 것이다(표의 굵은 부분은 표 2에서 이 설정을 추가한 결과이다(A "G"). 구별하는 메소드 이름에 가 추가됨), 이는 대상 도메인의 확장이 적대적 샘플의 일반화를 향상시킬 수 있음을 검증합니다

그림 4는 두 가지 상용 얼굴 인식 시스템 API에 대한 공격을 보여줍니다. 결과

내용은 다음과 같이 재작성되었습니다. 연구에서는 그림 6에서 다양한 표현이 공격 성능에 미치는 영향과 공격 일반화 성능

에 설정된 상태의 샘플 수가 미치는 영향을 조사했습니다. 다양한 방법의 시각화 결과를 비교하여 보여줍니다. MAA 방법은 적대적 다양체에서 20개의 적대적 샘플을 샘플링한 결과 시각화 효과가 더 자연스럽다는 것을 알 수 있습니다

물론 모든 데이터 세트에 서로 다른 상태의 그림이 포함되어 있는 것은 아닙니다. 이 경우 대상 필드의 데이터를 어떻게 확장합니까? 본 연구는 AU 벡터와 표현 편집 모델을 사용하여 일련의 목표 상태를 생성하는 실행 가능한 솔루션을 제안합니다. 연구에서도 합성 타겟 상태 집합을 공격한 결과가 나와 있는데, 그 결과 일반화 성능이 향상되는 것으로 나타났습니다

다시 작성해야 할 내용은 원리와 방법

다시 작성한 내용은 다음과 같습니다. 모델의 핵심 부분에는 WGAN-GP 기반 생성 모듈, 표현 감독 모듈, 전달성 향상 모듈 및 일반 공격 모듈이 포함됩니다. 그 중 일반화된 공격 모듈은 공격 대상 상태의 집계 기능을 구현할 수 있으며, 전달성 향상 모듈은 공정한 비교를 위해 모든 벤치마크 모델에 추가되었습니다. 표현 감독 모듈은 훈련된 4명의 표현 편집자로 구성됩니다. 이는 전역 구조 감독과 로컬 세부 감독을 통해 적대적 샘플의 표현 변환을 달성합니다. 표현 감독 모듈의 경우 해당 논문의 지원 자료가 해당 절제 실험을 제공하는 것으로 확인되었습니다. 로컬 디테일 감독은 생성된 이미지의 아티팩트와 흐릿함을 줄이고, 적대적 샘플의 시각적 품질을 효과적으로 향상시키며, 적대적 샘플의 표현 합성의 정확성도 향상시킬 수 있습니다

또한 논문에서는 지속적인 적대적 다양체와 개념을 정의합니다. 의미상 연속적인 적대 다양체

에 의해 생성된 적대 다양체

가 AU 벡터 공간과 동형임을 자세히 증명했습니다.

요약은 기존의 정보나 경험을 요약하고 요약한 것입니다. 가장 중요한 아이디어와 결론을 추출하는 것을 목표로 생각을 정리하고 요약하는 과정입니다. 요약하면 배운 내용을 더 잘 이해하고 기억하는 데 도움이 되며, 아이디어를 더 잘 전달하고 공유하는 데도 도움이 됩니다. 요약을 통해 복잡한 정보를 단순화하고 핵심 내용으로 정리하여 더 쉽게 이해하고 적용할 수 있습니다. 요약은 학습 및 의사소통 과정에서 중요한 도구로, 많은 양의 정보를 보다 효율적으로 처리하고 활용하는 데 도움이 됩니다. 공부든, 일이든, 생활이든 요약은 필수 기술입니다

결론적으로 본 연구는 GMAA라는 새로운 공격 패러다임을 제안하는 동시에 타겟 도메인과 적대 도메인을 확장하여 공격 성능을 향상시킵니다. 대상 도메인의 경우 GMAA는 단일 이미지 대신 상태 모음을 공격하여 대상 ID에 대한 일반화 기능을 향상시킵니다. 또한 GMAA는 적대 영역을 개별 지점에서 의미상 연속적인 적대 다양체(“점대면”)로 확장합니다. 본 연구는 표현 편집에 대한 도메인 지식을 도입하여 GMAA 공격 패러다임을 예시합니다. 광범위한 비교 실험을 통해 GMAA가 다른 경쟁 모델보다 더 나은 공격 성능과 더 자연스러운 시각적 품질을 가지고 있음이 입증되었습니다.

위 내용은 개별 적대자부터 다양한 적대자까지: CVPR 2023은 일반화 가능한 다양한 적대적 공격을 탐구합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!