点から面へ: 一般化可能な多様な敵対的攻撃、個別の敵対的攻撃から多様な敵対的攻撃まで

99% の精度を誇る顔認識システムは本当に破られないのでしょうか?実際、顔認識システムは、視覚的な判断に影響を与えない範囲で顔写真を変更するだけで簡単に破られ、たとえば、隣の女の子と男性有名人が同一人物であると判断されてしまう可能性があり、これは敵対的攻撃です。敵対的攻撃の目的は、自然でニューラル ネットワークを混乱させる可能性のある敵対的サンプルを見つけることです。本質的に、敵対的サンプルを見つけることは、ニューラル ネットワークの脆弱性を見つけることです。

最近、東方理工大学の研究チームは、汎用多様体敵対的攻撃 (Generalized Manifold Adversarial Attack、GMAA) のパラダイムを提案しました。

従来の「点」攻撃モードを「面」攻撃モードに昇格します。これにより、敵対的攻撃モデルの汎用化能力が大幅に向上し、敵対的攻撃の仕組みに関する新しいアイデアが開発されます。

この研究は、ターゲット ドメインと敵対的ドメインの 2 つの側面から以前の研究を改善します。この研究では、ターゲット ドメインに関して、ターゲット ID の一連の状態を攻撃することにより、高度な一般化を備えたより強力な敵対的な例を発見しました。敵対的ドメインについては、以前の研究では離散的な敵対的サンプル、つまりシステムのいくつかの「抜け穴」(ポイント)を探していましたが、この研究では連続的な敵対的多様体、つまりニューラルの脆弱な統合部分を探しています。ネットワークのピース「エリア」（面）。さらに、この研究では、式編集のドメイン知識を導入し、式状態空間インスタンス化に基づく新しいパラダイムを提案します。生成された敵対的多様体を継続的にサンプリングすることで、表現が連続的に変化する一般化性の高い敵対的サンプルを得ることができ、メイクアップ、ライティング、摂動の追加などの手法と比較して、表現状態空間がより普遍的で自然なものとなり、性別や照明の影響を受けません。

研究論文が CVPR 2023 に受理されました。

紙のリンク: https://arxiv.org/abs/2301.06083

コードリンク https://github.com/tokaka22/GMAA

#メソッド紹介ターゲットドメイン部分では、以前の作業ターゲット アイデンティティ A の特定の写真のすべてのデザイン敵対的サンプル。ただし、図 2 に示すように、この攻撃手法によって生成された敵対的サンプルを使用して A の別の写真を攻撃すると、攻撃効果は大幅に減少します。このような攻撃に直面した場合、顔認識データベース内の写真を定期的に変更することは当然効果的な防御策です。ただし、この研究で提案されている GMAA は、ターゲット ID の単一サンプルでトレーニングするだけでなく、ターゲット ID 状態のセットを攻撃できる敵対的サンプルも探します。顔認識ライブラリは攻撃パフォーマンスが向上しています。

これらのより強力な敵対的サンプルは、ニューラル ネットワークの弱い領域にも対応しており、詳細に調査する価値があります。

敵対的ドメインの部分では、これまでの研究は 1 つまたは複数の個別の敵対的サンプルを見つけることでしたが、これは高次元空間で 1 つまたは複数の脆弱なニューラル ネットワークを見つけることと同じです。」この研究では、ニューラル ネットワークは「顔」全体で脆弱である可能性があり、この「顔」上の敵対的なサンプルは「1 回のスイープで捕らえられる」はずであると考えられています。したがって、この研究は高次元空間で敵対的多様体を見つけることに専念しています。 要約すると、GMAA は、

敵対的多様体を使用してターゲット ID の状態セット

を攻撃する新しい攻撃パラダイムです。

この記事の核となるアイデアを図 1 に示します。

具体的には、この研究では、表情編集のドメイン知識である顔動作コーディング システム (FACS) を導入し、表情状態空間を使用して、提案されている新しい攻撃パラダイムをインスタンス化します。 FACS は顔を異なる筋肉単位に分割する表情コーディング システムです。AU ベクトルの各要素は筋肉単位に対応します。ベクトル要素の値の大きさは、対応する単位の筋肉活動の度合いを表し、それによって表情状態を符号化します。 。たとえば、次の図では、AU ベクトルの最初の要素 AU1 が眉頭の引き上げの度合いを表しています。

『表情の解剖学』より

ターゲット ドメインについては、この研究は複数の発現状態を含むターゲット セットを攻撃することで、未知のターゲット写真に対する攻撃パフォーマンスを向上させます; 敵対的ドメインについては、この研究は AU 空間に対応する敵対的多様体を確立します。 AUの値を変化させることで敵対的多様体を解析し、AUの値を連続的に変化させることで、表現が連続的に変化する敵対的サンプルを生成することができます。

#この研究では、式状態空間を使用して GMAA 攻撃パラダイムをインスタンス化していることは注目に値します。これは、表情が人間の顔の活動において最も一般的な状態であり、 表情状態空間が比較的安定しており、人種や性別の影響を受けないためです (光は肌の色を変えることができ、メイクは性別に影響を与える可能性があります)。 。実際、他の適切な状態空間が見つかる限り、この攻撃パラダイムは一般化して、本質的に他の敵対的攻撃タスクに適用できます。

モデルの結果

以下のアニメーションは、調査の結果を視覚的に示しています。アニメーションの各フレームは、敵対的マニホールド上でサンプリングされた敵対的サンプルです。継続的にサンプリングすることで、表現が連続的に変化する一連の敵対的サンプル (左側) を取得できます。赤い値は、現在のフレームの敵対的サンプルとターゲット サンプルを示します(右) Face 顔認識システムでの類似度。

表 1 には、2 つのデータセットに対する 4 つの顔認識モデルのブラック ボックス攻撃の成功率がリストされています。このうち、MAA は GMAA の短縮版であり、MAA は GMAA のみです。敵対的ドメインでは、点攻撃モデルが多様攻撃に拡張され、ターゲット ドメインでは、単一のターゲット写真が依然として攻撃されます。攻撃対象の状態セットは一般的な実験設定であり、記事では表 2 の MAA を含む 3 つの手法にこの設定を追加しています (表中の太字部分はこの設定を追加した結果です。表 2 では「G」が追加されています)これは、ターゲット ドメインの拡張によって敵対的サンプルの一般化が改善できることを証明しています。

# 図 4 は、2 つの商用顔認識システムの API を攻撃した結果を示しています。

#調査では、さまざまな式が攻撃パフォーマンスに与える影響や、状態セットに含まれるサンプル数が攻撃に与える影響についても調査しました。一般化パフォーマンス。

# 図 6 は、さまざまな方法の視覚的な結果の比較を示しています。 20 個の敵対的なサンプルがマニホールド上でサンプリングされ、視覚化効果がより自然になっていることがわかります。

もちろん、すべてのデータ セットにアイデンティティのさまざまなステータスの図が含まれているわけではありません。この場合、ターゲット ドメインを拡張するにはどうすればよいでしょうか?この研究では、AU ベクトルと式編集モデルを使用してターゲット状態セットを生成するという実現可能な解決策も提供されており、合成されたターゲット状態セットを攻撃した結果も示されており、汎化パフォーマンスも向上していることがわかります。改善されました。

原理と方法

モデルのバックボーンには、WGAN-GP に基づく生成モジュール、式監視モジュール、転送性強化モジュール、汎用攻撃モジュール。このうち、一般化攻撃モジュールはターゲット状態セットを攻撃する機能を実装し、転送性強化モジュールは以前の作品からのものであり、公正な比較のために、このモジュールはすべてのベースラインに追加されています。表現監視モジュールは、4 つのよく訓練された表現エディタで構成され、グローバル構造監視とローカル詳細監視を通じて敵対的サンプルの表現変換を実現します。

式監視モジュールについては、対応するアブレーション実験が論文のサポート資料に記載されており、局所的な詳細な監視により表情の低下を軽減できることが検証されています。これにより、敵対的サンプルの視覚的な品質が効果的に向上し、敵対的サンプルの表現合成精度が向上します。

さらに、この論文では、連続敵対的多様体と意味論的連続敵対的多様体の概念を定義します 、そして によって生成された敵対的多様体が AU ベクトル空間と同型であることを詳細に証明しました。

#概要

概要 上記の通りでは、この研究では、GMAA と呼ばれる新しい攻撃パラダイムを提案すると同時に、

対象ドメインと対策ドメインを拡大し、攻撃のパフォーマンスを向上させます。ターゲット ドメインの場合、GMAA は単一のイメージではなく状態のコレクションを攻撃することで、ターゲットのアイデンティティへの一般化能力を向上させます。さらに、GMAA は、敵対的ドメインを離散点から意味的に連続した敵対的多様体 (「点から面」) に拡張します。この研究では、式編集のドメイン知識を導入することにより、GMAA 攻撃パラダイムを具体化します。広範な比較実験により、GMAA は他の競合モデルよりも優れた攻撃パフォーマンスとより自然なビジュアル品質を備えていることが証明されています。

以上が点から面へ: 一般化可能な多様な敵対的攻撃、個別の敵対的攻撃から多様な敵対的攻撃までの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。