Vom Punkt zur Oberfläche: verallgemeinerbare vielfältige gegnerische Angriffe, von einzelnen gegnerischen bis hin zu vielfältigen gegnerischen Angriffen

Ist das Gesichtserkennungssystem, das angeblich 99 % genau ist, wirklich unzerbrechlich? Tatsächlich kann das Gesichtserkennungssystem leicht gebrochen werden, indem einige Änderungen an den Gesichtsfotos vorgenommen werden, die sich nicht auf das visuelle Urteilsvermögen auswirken. Beispielsweise kann festgestellt werden, dass es sich bei dem Mädchen von nebenan und dem männlichen Prominenten um dieselbe Person handelt Angriff. Das Ziel gegnerischer Angriffe besteht darin, gegnerische Proben zu finden, die natürlich sind und das neuronale Netzwerk verwirren können. Im Wesentlichen besteht das Auffinden gegnerischer Proben darin, die Schwachstelle des neuronalen Netzwerks zu finden.

Kürzlich hat ein Forschungsteam vom Eastern Institute of Technology ein Paradigma für Generalized Manifold Adversarial Attack (GMAA) vorgeschlagen, #🎜🎜 #

befördert den traditionellen „Punkt“-Angriffsmodus zum „Oberflächen“-Angriffsmodus , der die Generalisierungsfähigkeit des gegnerischen Angriffsmodells erheblich verbessert und eine Grundlage für gegnerische Angriffe bietet eröffnete eine neue Denkweise. Diese Forschung verbessert frühere Arbeiten sowohl aus der Zieldomäne als auch aus der gegnerischen Domäne. Auf der Zieldomäne findet diese Studie leistungsfähigere gegnerische Beispiele mit hoher Generalisierung, indem sie die Menge der Zustände der Zielidentität angreift. Für den kontradiktorischen Bereich suchten frühere Arbeiten nach diskreten kontradiktorischen Stichproben, d. h. nach der Suche nach mehreren „Schlupflöchern“ (Punkten) des Systems, während diese Forschung nach kontinuierlichen kontradiktorischen Mannigfaltigkeiten sucht, d. h. nach der Suche nach den fragilen integralen Teilen des Neuronen Netzwerk. Stück „Fläche“ (Gesicht). Darüber hinaus führt diese Studie in Domänenkenntnisse der Ausdrucksbearbeitung ein und schlägt ein neues Paradigma vor, das auf der Instanziierung des Ausdruckszustandsraums basiert. Durch kontinuierliches Abtasten der generierten kontradiktorischen Mannigfaltigkeit können wir stark verallgemeinerbare kontradiktorische Muster mit kontinuierlichen Ausdrucksänderungen erhalten. Im Vergleich zu Methoden wie Make-up, Beleuchtung und Hinzufügen von Störungen ist der

Ausdruckszustandsraum universeller und natürlicher . Unabhängig vom Geschlecht oder der Beleuchtung. Die Forschungsarbeit wurde für CVPR 2023 angenommen.

Papierlink: https://arxiv.org/abs/2301.06083

Code-Link https://github.com/tokaka22/GMAA

Methode Einleitung

Im Zieldomänenteil bestand die bisherige Arbeit darin, gegnerische Beispiele für ein bestimmtes Foto der Zielidentität A zu entwerfen. Wie in Abbildung 2 dargestellt, wird der Angriffseffekt jedoch erheblich verringert, wenn die durch diese Angriffsmethode erzeugte gegnerische Stichprobe zum Angriff auf ein anderes Foto von A verwendet wird. Angesichts solcher Angriffe ist der regelmäßige Wechsel der Fotos in der Gesichtserkennungsdatenbank natürlich eine wirksame Abwehrmaßnahme. Die in dieser Studie vorgeschlagene GMAA trainiert jedoch nicht nur auf einer einzelnen Stichprobe der Zielidentität, sondern sucht auch nach gegnerischen Stichproben, die den Satz von Zielidentitätszuständen angreifen können, wie z. B.

. Stellen Sie sich der aktualisierten Gesichtserkennungsbibliothek und bieten Sie eine bessere Angriffsleistung. Diese leistungsfähigeren gegnerischen Proben entsprechen auch den schwächeren Bereichen des neuronalen Netzwerks und sind einer eingehenden Untersuchung wert. Im kontradiktorischen Bereich bestand die bisherige Arbeit darin, eine oder mehrere diskrete kontradiktorische Stichproben zu finden, was dem Auffinden der Schwachstellen neuronaler Netze in hochdimensionalen Netzwerken entspricht Ein oder mehrere „Punkte“, und diese Studie geht davon aus, dass das neuronale Netzwerk auf der gesamten „Fläche“ anfällig sein kann und die gegnerischen Proben auf dieser „Fläche“ „auf einen Schlag erfasst“ werden sollten. Daher widmet sich diese Forschung der Suche nach kontradiktorischen Mannigfaltigkeiten im hochdimensionalen Raum.

Zusammenfassend ist GMAA eine Reihe von Zuständen, die

verwenden, um die Zielidentität neu anzugreifen Angriffsparadigma. Die Kernidee des Artikels ist in Abbildung 1 dargestellt.

Konkret führt diese Forschung in das Domänenwissen der Ausdrucksbearbeitung, des Facial Action Coding System (FACS), ein und nutzt den Ausdruckszustandsraum, um das vorgeschlagene neue Angriffsparadigma zu instanziieren. FACS ist ein Gesichtsausdruck-Kodierungssystem, das das Gesicht in verschiedene Muskeleinheiten unterteilt. Jedes Element im AU-Vektor entspricht einer Muskeleinheit. Die Größe des Vektorelementwerts stellt den Grad der Muskelaktivität der entsprechenden Einheit dar und kodiert so den Ausdrucksstatus . In der folgenden Abbildung stellt beispielsweise das erste Element AU1 im AU-Vektor den Grad des Anhebens der inneren Augenbraue dar.

Aus „Anatomie der Gesichtsausdrücke“

Für die Zieldomäne greift diese Forschung Zielsätze an, die mehrere Ausdruckszustände enthalten, wodurch bessere Angriffe auf unbekannte Zielfotos erzielt werden. Leistung; Diese Studie erstellt eine gegnerische Mannigfaltigkeit, die eins zu eins dem AU-Raum entspricht. Sie können den AU-Wert ändern, gegnerische Stichproben auf der gegnerischen Mannigfaltigkeit abtasten und den AU-Wert kontinuierlich ändern, um sich ständig ändernde gegnerische Ausdrücke zu erzeugen. ​

Es ist erwähnenswert, dass diese Forschung den Ausdruckszustandsraum verwendet, um das GMAA-Angriffsparadigma zu instanziieren. Dies liegt daran, dass Mimik der häufigste Zustand bei menschlichen Gesichtsaktivitäten ist und der Ausdruckszustandsraum relativ stabil ist und nicht durch Rasse oder Geschlecht beeinflusst wird (Licht kann die Hautfarbe verändern und Make-up kann das Geschlecht beeinflussen). Solange andere geeignete Zustandsräume gefunden werden können, kann dieses Angriffsparadigma tatsächlich verallgemeinert und auf andere gegnerische Angriffsaufgaben in der Natur angewendet werden.

Modellergebnisse

Die folgende Animation zeigt die visuellen Ergebnisse der Studie. Jeder Frame der Animation ist ein gegnerisches Sample, das auf der gegnerischen Mannigfaltigkeit abgetastet wird. Durch kontinuierliches Abtasten kann eine Reihe gegnerischer Samples (linke Seite) mit kontinuierlich wechselnden Ausdrücken erhalten werden. Der rote Wert gibt das gegnerische Sample und das Ziel-Sample des aktuellen Frames an . (Rechts) Ähnlichkeit mit dem Gesichtserkennungssystem Face++.

In Tabelle 1 listet die Studie die Erfolgsraten von vier Gesichtserkennungsmodellen für zwei Datensätze auf. MAA ist eine verkürzte Version von GMAA und MAA verwendet nur Punktangriffe im gegnerischen Bereich Das Modell wird auf vielfältige Angriffe erweitert und die Zieldomäne wird immer noch auf einem einzelnen Zielfoto angegriffen. Der Zustandssatz des Angriffsziels ist eine übliche experimentelle Einstellung. Der Artikel fügt diese Einstellung zu den drei Methoden einschließlich MAA in Tabelle 2 hinzu (der fett gedruckte Teil in der Tabelle ist das Ergebnis des Hinzufügens dieser Einstellung in Tabelle 2 (A „G“). wird zum Namen der Methode hinzugefügt, um sie zu unterscheiden), was beweist, dass die Erweiterung der Zieldomäne die Generalisierung kontradiktorischer Stichproben verbessern kann.

Abbildung 4 zeigt die Ergebnisse eines Angriffs auf die APIs zweier kommerzieller Gesichtserkennungssysteme.

Diese Studie untersuchte auch den Einfluss verschiedener Ausdrücke auf die Angriffsleistung und den Einfluss der Anzahl der im Statussatz enthaltenen Proben auf die Angriffsgeneralisierungsleistung.

Abbildung 6 zeigt den Vergleich der Visualisierungsergebnisse verschiedener Methoden. MAA hat 20 kontradiktorische Proben auf der kontradiktorischen Mannigfaltigkeit abgetastet, und Sie können sehen, dass der Visualisierungseffekt natürlicher ist.

Natürlich verfügen nicht alle Datensätze über Bilder verschiedener Zustände einer Identität. Wie erweitert man in diesem Fall die Zieldomäne? Diese Forschung bietet auch eine praktikable Lösung, nämlich die Verwendung von AU-Vektoren und Ausdrucksbearbeitungsmodellen zum Generieren von Zielzustandssätzen. Der Artikel stellt auch die Ergebnisse des Angriffs auf den synthetisierten Zielzustandssatz vor, und es kann festgestellt werden, dass die Generalisierungsleistung ebenfalls verbessert wurde verbessert.

Prinzip und Methode

Das Rückgrat des Modells umfasst ein Generierungsmodul, das darauf basiert WGAN-GP, Ausdrucksüberwachungsmodul, Modul zur Verbesserung der Übertragbarkeit, Modul für verallgemeinerte Angriffe. Unter ihnen implementiert das verallgemeinerte Angriffsmodul die Funktion des Angriffs auf Zielzustandssätze, und das Modul zur Verbesserung der Übertragbarkeit stammt aus früheren Arbeiten. Um einen fairen Vergleich zu ermöglichen, wurde dieses Modul allen Basislinien hinzugefügt. Das Ausdrucksüberwachungsmodul besteht aus 4 gut ausgebildeten Ausdruckseditoren und realisiert die Ausdruckstransformation kontradiktorischer Proben durch globale Strukturüberwachung und lokale Detailüberwachung.

Für das Expressionsüberwachungsmodul ist das entsprechende Ablationsexperiment im Begleitmaterial der Arbeit angegeben, um das zu überprüfen Durch die Überwachung lokaler Details können Artefakte und Unschärfen generierter Bilder reduziert, die visuelle Qualität gegnerischer Proben effektiv verbessert und gleichzeitig die Genauigkeit der Ausdruckssynthese gegnerischer Proben verbessert werden.

Darüber hinaus definiert das Papier kontinuierliche gegnerische Mannigfaltigkeiten und semantische kontinuierliche gegnerische Flüsse Das Konzept der Form wird im Detail demonstriert, und die durch erzeugte kontradiktorische Mannigfaltigkeit ist homöomorph zum AU-Vektorraum.

# 🎜 🎜#Zusammenfassung

Zusammenfassend schlägt diese Forschung ein neues Angriffsparadigma namens GMAA vor, während die Zieldomäne erweitert und Gegenmaßnahmen gegen Domäne # durchführt. 🎜🎜#, wodurch die Leistung des Angriffs verbessert wird. Für die Zieldomäne verbessert GMAA die Generalisierungsfähigkeit auf die Zielidentität, indem es eine Sammlung von Zuständen anstelle eines einzelnen Bildes angreift. Darüber hinaus erweitert GMAA die gegnerische Domäne von diskreten Punkten auf semantisch kontinuierliche gegnerische Mannigfaltigkeiten („Punkt-zu-Gesicht“). Diese Studie instanziiert das GMAA-Angriffsparadigma, indem sie Domänenwissen zur Ausdrucksbearbeitung einführt. Umfangreiche Vergleichsexperimente belegen, dass GMAA eine bessere Angriffsleistung und eine natürlichere visuelle Qualität aufweist als andere Konkurrenzmodelle.

Das obige ist der detaillierte Inhalt vonVom Punkt zur Oberfläche: verallgemeinerbare vielfältige gegnerische Angriffe, von einzelnen gegnerischen bis hin zu vielfältigen gegnerischen Angriffen. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!