Dari titik ke permukaan: serangan musuh berlipat ganda yang boleh digeneralisasikan, daripada musuh individu kepada musuh berlipat ganda

Adakah sistem pengecaman muka yang didakwa 99% tepat benar-benar tidak boleh dipecahkan? Malah, sistem pengecaman muka boleh dipecahkan dengan mudah dengan membuat beberapa perubahan pada foto muka yang tidak menjejaskan pertimbangan visual Contohnya, gadis di sebelah dan selebriti lelaki boleh dinilai sebagai orang yang sama. Matlamat serangan adversarial adalah untuk mencari sampel adversarial yang semulajadi dan boleh mengelirukan rangkaian neural.

Baru-baru ini, pasukan penyelidik dari Eastern Institute of Technology mencadangkan paradigma Generalized Manifold Adversarial Attack (GMAA),

Promosikan tradisional " titik" mod serangan ke mod serangan "permukaan" , yang meningkatkan keupayaan generalisasi model serangan lawan dan membangunkan idea baharu untuk kerja serangan lawan.

Penyelidikan ini menambah baik kerja sebelumnya dari kedua-dua domain sasaran dan domain lawan. Pada domain sasaran, kajian ini menemui contoh lawan yang lebih kuat dengan generalisasi tinggi dengan menyerang set keadaan identiti sasaran. Untuk domain adversarial, kerja terdahulu sedang mencari sampel adversarial diskret, iaitu, mencari beberapa "loopholes" (titik) sistem, manakala penyelidikan ini mencari manifold adversarial berterusan, iaitu, mencari bahagian integral rapuh saraf. rangkaian. Sekeping "kawasan" (muka). Di samping itu, kajian ini memperkenalkan pengetahuan domain penyuntingan ekspresi dan mencadangkan paradigma baharu berdasarkan instantiasi ruang keadaan ekspresi. Dengan persampelan manifold musuh yang dihasilkan secara berterusan, kami boleh mendapatkan sampel lawan yang sangat boleh digeneralisasikan dengan perubahan ekspresi berterusan Berbanding dengan kaedah seperti solek, pencahayaan dan penambahan gangguan, ruang keadaan ekspresi

lebih universal dan semula jadi. tidak terjejas oleh Kesan jantina dan pencahayaan. Kertas penyelidikan telah diterima untuk CVPR 2023.

Pautan kertas: https://arxiv.org/abs/2301.06083

Pautan kod https://github.com/tokaka22/GMAAPengenalan kaedah

Di bahagian domain sasaran, kerja sebelumnya Mereka semua mereka bentuk sampel musuh untuk foto tertentu identiti sasaran A. Walau bagaimanapun, seperti yang ditunjukkan dalam Rajah 2, apabila sampel lawan yang dihasilkan oleh kaedah serangan ini digunakan untuk menyerang satu lagi foto A, kesan serangan akan berkurangan dengan ketara. Dalam menghadapi serangan sedemikian, kerap menukar foto dalam pangkalan data pengecaman muka secara semula jadi merupakan langkah pertahanan yang berkesan. Walau bagaimanapun, GMAA yang dicadangkan dalam kajian ini bukan sahaja melatih satu sampel identiti sasaran, tetapi juga mencari sampel musuh yang boleh menyerang set keadaan identiti sasaran

Sampel musuh yang sangat umum menghadapi orang yang dikemas kini Pustaka pengecaman muka mempunyai prestasi serangan yang lebih baik. Contoh lawan yang lebih berkuasa ini juga sepadan dengan kawasan rangkaian saraf yang lebih lemah dan layak untuk penerokaan yang mendalam.

Dalam bahagian domain lawan, kerja sebelum ini ialah mencari satu atau beberapa sampel lawan diskret, yang setara dengan mencari satu atau beberapa rangkaian saraf yang terdedah dalam ruang dimensi tinggi "Point ", dan kajian ini percaya bahawa rangkaian saraf mungkin rapuh pada keseluruhan "muka", dan sampel lawan pada "muka" ini harus "terperangkap dalam satu sapuan". Oleh itu, penyelidikan ini ditumpukan untuk mencari manifold adversarial dalam ruang dimensi tinggi.

Ringkasnya, GMAA ialah paradigma serangan baharu yang menggunakan

manifold musuh untuk menyerang set negeri identiti sasaran.

Idea teras artikel ditunjukkan dalam Rajah 1.

Secara khusus, penyelidikan ini memperkenalkan pengetahuan domain penyuntingan ekspresi, Sistem Pengekodan Tindakan Muka (FACS), dan menggunakan ruang keadaan ekspresi untuk mewujudkan paradigma serangan baharu yang dicadangkan. FACS ialah sistem pengekodan ekspresi muka yang membahagikan muka kepada unit otot yang berbeza Setiap elemen dalam vektor AU sepadan dengan unit otot Saiz nilai elemen vektor mewakili tahap aktiviti otot unit yang sepadan, dengan itu mengekodkan status Ekspresi . Sebagai contoh, dalam rajah di bawah, unsur pertama AU1 dalam vektor AU mewakili tahap mengangkat kening dalam.

Daripada "Anatomi Ekspresi Wajah"

Untuk domain sasaran, penyelidikan ini menyerang set sasaran yang mengandungi berbilang keadaan ekspresi, dengan itu mencapai prestasi serangan yang lebih baik pada foto sasaran yang tidak diketahui, penyelidikan ini mewujudkan manifold adversarial yang sepadan dengan sampel Adversarial yang boleh dijadikan sampel manifold adversarial dengan menukar nilai AU, dan dengan menukar nilai AU secara berterusan, sampel lawan dengan ekspresi berubah secara berterusan boleh dijana. ​

Perlu diambil perhatian bahawa kajian ini menggunakan ruang keadaan ekspresi untuk mewujudkan paradigma serangan GMAA. Ini kerana ekspresi adalah keadaan yang paling biasa dalam aktiviti muka manusia, dan ruang keadaan ekspresi agak stabil dan tidak akan dipengaruhi oleh bangsa atau jantina (pencahayaan boleh menukar warna kulit, dan solekan boleh menjejaskan jantina) . Malah, selagi ruang keadaan lain yang sesuai boleh ditemui, paradigma serangan ini boleh digeneralisasikan dan digunakan untuk tugas serangan musuh yang lain secara semula jadi.

Hasil model

Animasi berikut menunjukkan hasil visual kajian. Setiap bingkai animasi ialah sampel lawan yang diambil pada manifold lawan Dengan persampelan berterusan, satu siri sampel lawan (sebelah kiri) dengan ekspresi yang berubah secara berterusan boleh diperolehi Nilai merah menunjukkan sampel lawan dan sampel sasaran bingkai semasa . (Kanan) Persamaan di bawah sistem pengecaman muka Face++.

Dalam Jadual 1, kajian menyenaraikan kadar kejayaan serangan kotak hitam bagi 4 model pengecaman muka pada dua set data Antaranya, MAA ialah versi singkatan GMAA dan MAA sahaja domain lawan, model serangan titik dilanjutkan kepada serangan manifold, dan dalam domain sasaran, satu foto sasaran masih diserang. Set keadaan sasaran serangan ialah tetapan percubaan biasa Artikel ini menambahkan tetapan ini kepada tiga kaedah termasuk MAA dalam Jadual 2 (bahagian tebal dalam jadual adalah hasil daripada menambah tetapan ini, dalam Jadual 2 (A “G”). ditambahkan pada nama kaedah untuk membezakannya), yang membuktikan bahawa pengembangan domain sasaran dapat meningkatkan generalisasi sampel lawan.

Rajah 4 menunjukkan keputusan menyerang API dua sistem pengecaman muka komersial.

Kajian ini juga meneroka kesan ekspresi berbeza pada prestasi serangan, dan kesan bilangan sampel yang terkandung dalam keadaan ditetapkan pada generalisasi serangan prestasi .

Rajah 6 menunjukkan perbandingan hasil visualisasi kaedah yang berbeza adalah lebih baik dalam melawan 20 sampel musuh telah diambil sampel pada manifold, dan anda dapat melihat bahawa kesan visualisasi adalah lebih semula jadi.

Sudah tentu, tidak semua set data mempunyai gambar keadaan identiti yang berbeza Bagaimana untuk mengembangkan domain sasaran dalam kes ini? Penyelidikan ini juga menyediakan penyelesaian yang boleh dilaksanakan, iaitu menggunakan vektor AU dan model penyuntingan ekspresi untuk menjana set keadaan sasaran Artikel ini juga membentangkan keputusan menyerang set keadaan sasaran yang disintesis, dan boleh didapati bahawa prestasi generalisasi juga telah. bertambah baik.

Prinsip dan kaedah

Tulang belakang model termasuk modul penjanaan berdasarkan WGAN-GP, modul penyeliaan ekspresi, dan Modul kebolehpindahan yang dipertingkatkan, modul serangan umum. Antaranya, modul serangan umum melaksanakan fungsi menyerang set keadaan sasaran, dan modul peningkatan kebolehpindahan datang daripada kerja sebelumnya Untuk perbandingan yang saksama, modul ini ditambahkan pada semua garis dasar. Modul penyeliaan ekspresi terdiri daripada 4 editor ekspresi yang terlatih, dan merealisasikan transformasi ekspresi sampel lawan melalui penyeliaan struktur global dan penyeliaan terperinci tempatan.

Untuk modul penyeliaan ekspresi, eksperimen ablasi yang sepadan diberikan dalam bahan sokongan kertas, yang mengesahkan bahawa penyeliaan butiran tempatan boleh mengurangkan artifak imej yang dijana dengan berkesan meningkatkan kualiti visual sampel lawan dan meningkatkan ketepatan sintesis ekspresi sampel lawan.

Di samping itu, kertas kerja mentakrifkan konsep manifold lawan berterusan dan manifold lawan berterusan semantik , dan dibuktikan secara terperinci bahawa manifold adversarial yang dijana oleh adalah homeomorfik kepada ruang vektor AU.

Ringkasan

Ringkasan Seperti yang dinyatakan di atas, penyelidikan ini mencadangkan paradigma serangan baharu yang dipanggil GMAA, dan pada masa yang sama mengembangkan domain sasaran dan domain musuh untuk meningkatkan prestasi serangan. Untuk domain sasaran, GMAA meningkatkan keupayaan generalisasi kepada identiti sasaran dengan menyerang koleksi negeri dan bukannya satu imej. Tambahan pula, GMAA meluaskan domain lawan daripada titik diskret kepada manifold lawan berterusan secara semantik ("titik ke muka") . Kajian ini mewujudkan paradigma serangan GMAA dengan memperkenalkan pengetahuan domain tentang penyuntingan ekspresi. Eksperimen perbandingan yang meluas membuktikan bahawa GMAA mempunyai prestasi serangan yang lebih baik dan kualiti visual yang lebih semula jadi daripada model pesaing lain.

Atas ialah kandungan terperinci Dari titik ke permukaan: serangan musuh berlipat ganda yang boleh digeneralisasikan, daripada musuh individu kepada musuh berlipat ganda. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!