Heim > Artikel > Technologie-Peripheriegeräte > Durch die Umkehrfunktion steigt das Re-ID-Modell von 88,54 % auf 0,15 %.
Die erste Version dieses Artikels wurde im Mai 2018 verfasst und kürzlich im Dezember 2022 veröffentlicht. Ich habe in den letzten vier Jahren viel Unterstützung und Verständnis von meinen Vorgesetzten erhalten.
(Ich hoffe auch, dass diese Erfahrung den Studenten, die Arbeiten einreichen, etwas Mut macht. Wenn Sie die Arbeit gut schreiben, werden Sie auf jeden Fall gewinnen, geben Sie nicht so schnell auf!)
Die frühe Version von arXiv ist: Abfrageangriff über Funktion in entgegengesetzter Richtung: Auf dem Weg zu einem robusten Bildabruf
Papier-Backup-Link: https://zdzheng.xyz/files/IJCV_Retrieval_Robustness_CameraReady.pdf
Code: https://github.com/layumi/U_turn
Autor: Zhedong Zheng, Liang Zheng, Yi Yang und Fei Wu Mehrskaliger Abfrageangriff/Black-Box-Angriff / Verteidigen Sie Experimente aus drei verschiedenen Blickwinkeln.
Fügen Sie neue Methoden und neuere Visualisierungsmethoden für Food256, Market-1501, CUB, Oxford, Paris und andere Datensätze hinzu.
Die PCB-Struktur in Reid und WiderResNet in Cifar10 angegriffen.Tatsächliche Fälle
Im tatsächlichen Gebrauch. Nehmen wir zum Beispiel an, wir wollen das Bildabrufsystem von Google oder Baidu angreifen, um große Schlagzeilen zu machen (Nebel). Wir können ein Bild eines Hundes herunterladen, die Merkmale mithilfe des Imagenet-Modells (oder anderer Modelle, vorzugsweise eines Modells in der Nähe des Retrievalsystems) berechnen und das gegnerische Rauschen plus berechnen, indem wir die Merkmale umdrehen (die Methode in diesem Artikel). Zurück zum Hund. Nutzen Sie dann nach dem Angriff die Bildsuchfunktion für den Hund. Sie sehen, dass das System von Baidu und Google keine hundebezogenen Inhalte zurückgeben kann. Obwohl wir Menschen immer noch erkennen können, dass es sich hier um ein Bild eines Hundes handelt.
1. Eine natürliche Idee sind Angriffseigenschaften. Wie kann man also Funktionen angreifen? Basierend auf unseren früheren Beobachtungen zum Kreuzentropieverlust (siehe Artikel „Großmargiger Softmax-Verlust“). Wenn wir Klassifizierungsverlust verwenden, weist Merkmal f häufig eine radiale Verteilung auf. Dies liegt daran, dass beim Lernen die Cos-Ähnlichkeit zwischen dem Merkmal und dem Gewicht W der letzten Klassifizierungsschicht berechnet wird. Wie in der folgenden Abbildung gezeigt, werden Stichproben derselben Klasse nach dem Erlernen des Modells in der Nähe von W dieser Klasse verteilt, sodass f*W den Maximalwert erreichen kann. Wie
2 Also haben wir uns eine sehr einfache Methode ausgedacht, nämlich die Funktionen umzudrehen. Wie in der folgenden Abbildung dargestellt, gibt es tatsächlich zwei gängige Klassifizierungsangriffsmethoden, die auch gemeinsam visualisiert werden können. Beispielsweise dient (a) dazu, die Kategorie mit der höchsten Klassifizierungswahrscheinlichkeit (z. B. Fast Gradient) zu unterdrücken, indem -Wmax angegeben wird, sodass es eine Ausbreitungsrichtung des roten Gradienten entlang des inversen Wmax gibt, während es in (b) eine andere gibt Eine Möglichkeit, die am wenigsten wahrscheinliche Kategorie zu unterdrücken, wird nach oben gezogen (z. B. am wenigsten wahrscheinlich), sodass der rote Farbverlauf entlang von Wmin verläuft.
3. Diese beiden Klassifizierungsangriffsmethoden sind bei herkömmlichen Klassifizierungsproblemen natürlich sehr direkt und effektiv. Da es sich bei den Testsätzen im Retrieval-Problem jedoch ausschließlich um unsichtbare Kategorien (unsichtbare Vogelarten) handelt, passt die Verteilung von natürlichem f nicht genau zu Wmax oder Wmin. Daher ist unsere Strategie sehr einfach. Da wir f haben, können wir es einfach Verschieben Sie f nach -f, wie in Abbildung (c) gezeigt.
Auf diese Weise werden in der Feature-Matching-Phase die ursprünglichen hochrangigen Ergebnisse idealerweise am niedrigsten eingestuft, wenn sie als Cos-Ähnlichkeit mit -f berechnet werden, von nahe 1 bis nahe -1.
Wir haben den Effekt unserer Angriffs-Retrieval-Sortierung erreicht.
4. Eine kleine Erweiterung. Bei Abrufproblemen verwenden wir häufig auch Multiskalen zur Abfrageerweiterung. Daher haben wir auch untersucht, wie der Angriffseffekt in diesem Fall aufrechterhalten werden kann. (Die Hauptschwierigkeit besteht darin, dass der Größenänderungsvorgang einige kleine, aber kritische Schwankungen glätten kann.)
Tatsächlich ist unsere Methode, damit umzugehen, ebenfalls sehr einfach. Genau wie beim Modellensemble mitteln wir die kontradiktorischen Gradienten mehrerer Skalen zu einem Ensemble.
1. Unter drei Datensätzen und drei Indikatoren haben wir die Jitter-Amplitude, das Epsilon der Abszisse, festgelegt und verglichen, welche Methode dazu führen kann, dass das Abrufmodell bei derselben Jitter-Amplitude mehr Fehler macht. Unsere Methode besteht darin, dass die gelben Linien alle unten liegen, was bedeutet, dass der Angriffseffekt besser ist.
2 Gleichzeitig liefern wir auch quantitative experimentelle Ergebnisse zu 5 Datensätzen (Lebensmittel, CUB, Markt, Oxford, Paris)
3 Um den Modellmechanismus zu demonstrieren, haben wir auch versucht, das Klassifizierungsmodell auf Cifar10 anzugreifen.
Sie können sehen, dass unsere Strategie, die letzte Funktionsebene zu ändern, auch eine starke Unterdrückungskraft gegenüber den Top 5 hat. Da für die Top-1-Kandidaten keine Kandidatenkategorie herangezogen wird, ist sie etwas niedriger als die am wenigsten wahrscheinliche, aber sie ist fast gleich.
4. Black-Box-Angriff
Wir haben auch versucht, das von ResNet50 generierte Angriffsbeispiel zu verwenden, um ein Black-Box-DenseNet-Modell anzugreifen (die Parameter dieses Modells stehen uns nicht zur Verfügung). Es zeigt sich, dass auch bessere Migrationsangriffsfähigkeiten erreicht werden können.
5. Gegenverteidigung
Wir nutzen Online-Gegnertraining, um ein Verteidigungsmodell zu trainieren. Wir haben festgestellt, dass es immer noch ineffektiv ist, wenn es neue White-Box-Angriffe akzeptiert, aber bei kleinen Schwankungen (weniger Punkteverlust) stabiler ist als ein völlig wehrloses Modell.
6. Visualisierung von Feature-Bewegungen
Das ist auch mein Lieblingsexperiment. Wir verwenden Cifar10, um die Dimension der letzten Klassifizierungsschicht auf 2 zu ändern und die Änderungen in den Merkmalen der Klassifizierungsschicht darzustellen.
Wie in der Abbildung unten gezeigt, können wir mit zunehmender Jitter-Amplitude Epsilon sehen, dass sich die Eigenschaften der Probe langsam „umkehren“. Beispielsweise sind die meisten orangefarbenen Merkmale auf die gegenüberliegende Seite verschoben.
Das obige ist der detaillierte Inhalt vonDurch die Umkehrfunktion steigt das Re-ID-Modell von 88,54 % auf 0,15 %.. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!