Serang AI dengan AI? Ancaman dan Pertahanan Pembelajaran Mesin Adversarial

Semakin banyak organisasi perusahaan mula menggunakan projek kecerdasan buatan (Kecerdasan Buatan, disingkat AI) dan pembelajaran mesin (Pembelajaran Mesin, disingkat ML), dan melindungi projek ini menjadi semakin penting. Tinjauan yang dijalankan bersama oleh IBM dan Morning Consult menunjukkan bahawa antara lebih 7,500 syarikat multinasional yang dikaji, 35% sudah menggunakan AI, peningkatan sebanyak 13% daripada tahun lepas, dan 42% lagi sedang mengkaji kebolehlaksanaan. Walau bagaimanapun, hampir 20% syarikat melaporkan kesukaran dalam melindungi data daripada sistem AI, yang memperlahankan kadar penggunaan AI.

Melindungi sistem AI dan ML menghadapi cabaran yang ketara, beberapa daripadanya bukan disebabkan oleh teknologi AI itu sendiri. Contohnya, sistem AI dan ML memerlukan data, dan jika data itu mengandungi maklumat sensitif atau peribadi, ia akan menjadi sasaran penyerang. Model pembelajaran mesin mempunyai potensi risiko serangan musuh dalam persekitaran ruang siber dan mungkin menjadi pautan paling lemah dalam sistem pertahanan, sekali gus membahayakan keselamatan keseluruhan sistem.

Apakah pembelajaran mesin lawan

Pembelajaran mesin lawan bukanlah sejenis pembelajaran mesin, tetapi digunakan oleh penyerang untuk menyerang sistem ML a siri cara. Pembelajaran mesin musuh mengeksploitasi kelemahan dan keanehan model ML untuk melakukan serangan. Sebagai contoh, pembelajaran mesin lawan boleh digunakan untuk membuat algoritma perdagangan ML membuat keputusan perdagangan yang salah, menjadikan operasi penipuan lebih sukar untuk dikesan, memberikan pengesyoran operasi yang salah dan memanipulasi laporan berdasarkan analisis sentimen.

Serangan pembelajaran mesin musuh terbahagi kepada empat jenis: serangan keracunan, serangan pengelakan, serangan pengekstrakan dan serangan inferens.

1. Serangan keracunan

Dalam serangan keracunan, penyerang memanipulasi set data latihan. Contohnya, dengan sengaja memincangkan set data menyebabkan mesin belajar dengan cara yang salah. Contohnya, rumah anda dilengkapi dengan kamera keselamatan berasaskan AI. Penyerang boleh berjalan di tepi rumah anda pada pukul 3 pagi setiap hari dan membiarkan anjingnya berlari melintasi halaman, mencetuskan sistem keselamatan. Akhirnya, anda mematikan penggera yang dicetuskan pada pukul 3 pagi untuk mengelak daripada dikejutkan oleh anjing itu. Pejalan kaki anjing itu sebenarnya menyediakan data latihan untuk memberitahu sistem keselamatan bahawa apa yang berlaku setiap hari pada pukul 3 pagi adalah tidak berbahaya. Apabila sistem dilatih untuk mengabaikan apa-apa yang berlaku pada pukul 3 pagi, penyerang memanfaatkan peluang untuk melancarkan serangan.

2. Serangan pengelakan

Dalam serangan pengelakan, model telah dilatih, tetapi penyerang boleh menukar sedikit input untuk dijalankan serangan itu. Satu contoh ialah tanda berhenti - apabila penyerang menggunakan teg hasil, mesin mentafsirkannya sebagai tanda hasil, bukan tanda berhenti. Dalam contoh berjalan anjing di atas, pencuri boleh memecah masuk ke rumah anda dengan memakai sut anjing. Mengelak daripada serangan adalah seperti ilusi optik pada mesin.

3. Serangan pengekstrakan

Dalam serangan pengekstrakan, penyerang memperoleh salinan sistem AI. Kadangkala anda boleh mengekstrak model hanya dengan memerhati input dan outputnya, dan bermain-main dengan model untuk melihat bagaimana ia bertindak balas. Jika anda boleh menguji model anda beberapa kali, anda boleh mengajar model anda untuk berkelakuan dengan cara yang sama.

Sebagai contoh, pada tahun 2019, kerentanan telah didedahkan dalam sistem perlindungan e-mel Proofpoint dan pengepala e-mel yang dijana disertakan dengan skor yang menunjukkan kemungkinan e-mel tersebut adalah spam. Menggunakan markah ini, penyerang boleh membina enjin pengesanan spam tiruan untuk menjana spam yang mengelak pengesanan.

Jika syarikat menggunakan produk AI komersial, penyerang juga boleh mendapatkan salinan model dengan membeli atau menggunakan perkhidmatan tersebut. Sebagai contoh, terdapat platform yang boleh digunakan oleh penyerang untuk menguji perisian hasad mereka terhadap enjin antivirus. Dalam contoh berjalan anjing di atas, penyerang boleh mendapatkan sepasang teropong untuk melihat jenama kamera keselamatan itu, kemudian membeli kamera jenama yang sama dan memikirkan cara memintas pertahanan.

4. Serangan inferens

Dalam serangan inferens, penyerang memikirkan set data yang digunakan untuk melatih sistem dan kemudian mengeksploitasi Kerentanan atau berat sebelah membolehkan serangan. Jika anda boleh mengetahui data latihan, anda boleh menggunakan akal fikiran atau helah pintar untuk mengeksploitasinya. Masih menggunakan contoh berjalan anjing, penyerang mungkin memantau rumah untuk merasakan orang yang lalu lalang dan kenderaan berdekatan. Apabila penyerang memerhatikan pejalan kaki anjing melintas pada pukul 3 pagi setiap hari, sistem keselamatan akan mengabaikan pejalan kaki anjing itu, dan adalah mungkin untuk mengeksploitasi kelemahan ini untuk melakukan serangan.

Pada masa hadapan, penyerang juga mungkin menggunakan teknologi pembelajaran mesin pintar untuk menyerang aplikasi pembelajaran mesin biasa. Sebagai contoh, jenis sistem konfrontasi generatif AI yang baharu. Sistem sedemikian sering digunakan untuk mencipta kandungan palsu yang mendalam, iaitu foto atau video yang sangat realistik sehingga kelihatan seperti nyata. Penyerang sering menggunakannya untuk penipuan dalam talian, tetapi prinsip yang sama juga boleh digunakan untuk menjana perisian hasad yang tidak dapat dikesan.

Dalam rangkaian permusuhan generatif, satu pihak dipanggil diskriminator dan pihak lain dipanggil penjana, dan mereka menyerang antara satu sama lain. Sebagai contoh, antivirus AI mungkin cuba mengetahui sama ada objek adalah perisian hasad. AI yang menjana perisian hasad mungkin cuba mencipta perisian hasad yang tidak dapat ditangkap oleh sistem pertama. Melalui konfrontasi berulang antara kedua-dua sistem, hasil akhirnya boleh menjadi perisian hasad yang hampir mustahil untuk dikesan.

Cara mempertahankan diri daripada pembelajaran mesin musuh

Konfrontasi yang meluas di ruang siber menjadikan aplikasi pembelajaran mesin menghadapi cabaran yang teruk Untuk mempertahankan diri daripada ancaman serangan pembelajaran mesin yang bertentangan, penyelidik keselamatan telah memulakan penyelidikan keselamatan mengenai pembelajaran mesin yang bertentangan dan meningkatkan aplikasi praktikal algoritma pembelajaran mesin. . Kekukuhan memastikan keselamatan aplikasi algoritma berkaitan pembelajaran mesin.

Firma penyelidikan Gartner mengesyorkan bahawa jika perusahaan mempunyai sistem AI dan ML yang perlu dilindungi, mereka harus mengambil langkah keselamatan yang disasarkan. Pertama, untuk melindungi integriti model AI, perusahaan harus mengamalkan prinsip AI yang boleh dipercayai dan menjalankan pemeriksaan pengesahan pada model, kedua, untuk melindungi integriti data latihan AI, teknologi pengesanan keracunan data harus digunakan; , banyak langkah keselamatan tradisional Ia juga boleh digunakan untuk perlindungan sistem AI. Contohnya, penyelesaian yang melindungi data daripada diakses atau dimusnahkan juga boleh melindungi set data latihan daripada diganggu.

MITRE terkenal dengan strategi adversarial ATT&CK piawai dan rangka kerja teknikal Ia juga telah mencipta satu set matriks ancaman pembelajaran mesin adversarial untuk sistem AI yang dipanggil Adversarial Machine Learning Threat Matrix ) rangka kerja serangan, yang kini dikenali sebagai Adversarial Threat Landscape for Artificial-Intelligence Systems (ATLAS), meliputi 12 peringkat menyerang sistem ML.

Selain itu, sesetengah pengeluar telah mula mengeluarkan alat keselamatan untuk membantu pengguna melindungi sistem AI dan mempertahankan pembelajaran mesin yang bertentangan. Microsoft mengeluarkan Counterfit pada Mei 2021, alat automasi sumber terbuka untuk ujian keselamatan sistem AI. Counterfit bermula sebagai perpustakaan skrip serangan yang ditulis khusus untuk model AI tunggal, dan kemudian bertukar menjadi alat automasi umum untuk serangan berskala besar pada berbilang sistem AI. Alat ini boleh digunakan untuk mengautomasikan teknik dalam rangka kerja serangan ATLAS MITRE, tetapi juga boleh digunakan semasa fasa pembangunan AI untuk mencari kelemahan awal sebelum ia menjadi pengeluaran.

IBM juga mempunyai alat pertahanan pembelajaran mesin lawan sumber terbuka yang dipanggil Adversarial Robustness Toolbox, yang kini merupakan projek di bawah Yayasan Linux. Projek ini menyokong semua rangka kerja ML yang popular dan termasuk 39 modul serangan yang dibahagikan kepada empat kategori: pengelakan, keracunan, pengekstrakan dan inferens.

Memandangkan kemungkinan serangan yang mungkin dialami oleh pembelajaran mesin dalam pertahanan ruang siber, perusahaan juga harus memperkenalkan model penyerang pembelajaran mesin seawal mungkin, dengan tujuan menilai secara saintifik sifat keselamatan mereka dalam senario ancaman tertentu. Pada masa yang sama, organisasi harus memahami sepenuhnya kaedah biasa bagaimana algoritma pembelajaran mesin musuh melancarkan serangan pengelakan dalam fasa ujian, melancarkan serangan keracunan dalam fasa latihan dan melancarkan kecurian privasi dalam keseluruhan fasa pembelajaran mesin, mereka bentuk dan menggunakan mereka dalam persekitaran konfrontasi sebenar di ruang siber, dan dapat Kaedah pertahanan yang berkesan mengukuhkan keselamatan model pembelajaran mesin.

Pautan rujukan:

https://www.csoonline.com/article/3664748/adversarial-machine-learning-explained-how-attackers-disrupt-ai -and-ml-systems.html

Atas ialah kandungan terperinci Serang AI dengan AI? Ancaman dan Pertahanan Pembelajaran Mesin Adversarial. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!