Mengapakah GPT-4P terdedah kepada serangan imej suntikan petunjuk berbilang modal?

Versi GPT-4V baharu OpenAI menyokong muat naik imej, yang membawa laluan serangan baharu, menjadikan model bahasa besar (LLM) terdedah kepada serangan imej suntikan berbilang modal. Penyerang boleh membenamkan arahan, skrip berniat jahat dan kod dalam imej, yang kemudian dipatuhi oleh model itu.

Serangan imej suntikan segera berbilang mod boleh membocorkan data, mengubah hala pertanyaan, menjana mesej ralat dan melaksanakan skrip yang lebih kompleks untuk mentakrifkan semula cara LLM mentafsir data. Mereka boleh menggunakan semula LLM untuk mengabaikan pagar keselamatan yang didirikan sebelum ini dan melaksanakan arahan yang boleh menjejaskan organisasi, menimbulkan ancaman daripada penipuan kepada sabotaj operasi.

Semua perniagaan yang menggunakan LLM sebagai sebahagian daripada aliran kerja mereka menghadapi kesukaran, tetapi mereka yang menggunakan LLM sebagai teras perniagaan mereka untuk analisis imej dan klasifikasi menghadapi risiko yang paling besar. Penyerang yang menggunakan pelbagai teknik dengan cepat boleh mengubah cara imej ditafsir dan diklasifikasikan, yang membawa kepada hasil yang lebih mengelirukan

Arahan dan skrip pelaksanaan berniat jahat lebih berkemungkinan diabaikan apabila gesaan LLM ditindih. Penyerang boleh melakukan penipuan dan sabotaj operasi dengan membenamkan arahan dalam satu siri imej yang dimuat naik ke LLM, dan juga boleh memudahkan serangan kejuruteraan sosial

Imej ialah vektor serangan yang tidak dapat dipertahankan oleh LLM daripada

Disebabkan ketidakupayaan LLM untuk melindungi daripadanya semasa pemprosesannya Tiada langkah pembersihan data, jadi setiap imej tidak boleh dipercayai. Sama seperti sangat berbahaya untuk membiarkan identiti berkeliaran dengan bebas di rangkaian tanpa kawalan akses kepada setiap set data, aplikasi atau sumber, terdapat juga bahaya untuk imej yang dimuat naik ke LLM

Situasi di mana perusahaan mempunyai LLM persendirian Dalam situasi ini, akses keistimewaan paling rendah mesti diguna pakai sebagai strategi keselamatan rangkaian teras

Simon Willison baru-baru ini menjelaskan secara terperinci dalam catatan blog mengapa GPT-4V telah menjadi saluran utama untuk serangan suntikan segera, dan menunjukkan bahawa LLM pada asasnya mudah untuk ditipu. Pautan catatan blog: https://simonwillison.net/2023/Oct/14/multi-modal-prompt-injection/

Willison menunjukkan cara untuk merampas ejen kecerdasan buatan autonomi, seperti Auto-GPT, melalui suntikan segera. Beliau menerangkan secara terperinci contoh suntikan kiu visual mudah yang bermula dengan membenamkan arahan dalam satu imej dan secara beransur-ansur berkembang menjadi serangan penembusan suntikan kiu visual

Paul Ekwere, pengurus kanan analisis data dan kecerdasan buatan di BDO UK berkata: "Suntikan serangan Ia menimbulkan ancaman serius terhadap keselamatan dan kebolehpercayaan LLM, terutamanya untuk model berasaskan penglihatan yang memproses imej atau video Model ini digunakan secara meluas dalam bidang seperti pengecaman muka, pemanduan autonomi, diagnosis perubatan dan pemantauan OpenAI pada masa ini tiada penyelesaian untuk serangan imej suntikan segera berbilang modal, meninggalkan pengguna dan perniagaan sendiri. Catatan blog di tapak pembangun Nvidia (https://developer.nvidia.com/blog/mitigating-stored-prompt-injection-attacks-against-llm-applications/) menyediakan beberapa cadangan, termasuk untuk semua penyimpanan data dan Sistem menguatkuasakan akses keistimewaan paling rendah

Cara serangan imej suntikan segera berbilang modal berfungsi

Serangan suntikan segera pelbagai mod mengeksploitasi kelemahan dalam pemprosesan imej visual GPT-4V untuk melaksanakan arahan berniat jahat yang tidak dapat dikesan, GPT-4V bergantung pada visual pengekod transformasi untuk menukar imej kepada perwakilan ruang terpendam, dan data imej dan teks digabungkan untuk menjana respons.

Model tidak mempunyai cara untuk membersihkan input visual sebelum pengekodan. Penyerang boleh membenamkan sebarang bilangan arahan dan GPT-4 akan menganggapnya sebagai arahan yang sah. Penyerang yang secara automatik melakukan serangan suntikan petunjuk berbilang modal pada LLM persendirian tidak akan disedari.

Mengandungi Serangan Imej yang Disuntik

Masalah yang membimbangkan dengan vektor serangan tanpa perlindungan imej ini ialah penyerang boleh menjadikan data yang dilatih oleh LLM kurang boleh dipercayai dari semasa ke semasa, Kesetiaan data juga akan berkurangan secara beransur-ansur.

Kertas penyelidikan terkini (https://arxiv.org/pdf/2306.05499.pdf) menyediakan garis panduan tentang cara untuk melindungi LLM dengan lebih baik daripada serangan suntikan petunjuk. Untuk menentukan sejauh mana risiko dan penyelesaian yang berpotensi, pasukan penyelidik menjalankan satu siri eksperimen yang direka untuk menilai keberkesanan serangan suntikan terhadap aplikasi yang menggabungkan LLM. Pasukan penyelidik mendapati bahawa 31 aplikasi yang menyepadukan LLM terdedah kepada serangan suntikan

Kertas penyelidikan membuat pengesyoran berikut untuk membendung serangan imej suntikan:

Meningkatkan kebersihan input pengguna dan prosedur pengesahan

Untuk aplikasi persendirian Untuk perusahaan yang mengikuti piawaian dalam LLM, pengurusan capaian identiti (IAM) dan capaian keistimewaan terkecil ialah konfigurasi asas. Penyedia LLM perlu mempertimbangkan untuk melakukan pembersihan yang lebih teliti sebelum menghantar data imej untuk diproses

Apa yang perlu ditulis semula ialah: 2. Memperbaik seni bina platform dan asingkan input pengguna daripada logik sistem

Tujuannya adalah untuk menghapuskan risiko input pengguna yang menjejaskan kod dan data LLM secara langsung. Sebarang isyarat imej perlu dikendalikan supaya tidak menjejaskan logik dalaman atau aliran kerja.

Gunakan aliran kerja pemprosesan berbilang peringkat untuk mengenal pasti serangan berniat jahat

Kami boleh membina proses berbilang peringkat untuk menangkap serangan berasaskan imej lebih awal untuk menguruskan ancaman ini dengan lebih baik #🎜🎜 #

4 Sesuaikan petua pertahanan untuk mengelakkan jailbreaking

Jailbreaking ialah teknik kejuruteraan tip biasa yang digunakan untuk mengelirukan LLM untuk melakukan tindakan yang menyalahi undang-undang, melampirkan petua pada perkara yang kelihatan berniat jahat Membantu melindungi LLM dalam imej. input. Walau bagaimanapun, penyelidik memberi amaran bahawa serangan lanjutan masih boleh memintas pendekatan ini.

Ancaman yang semakin rancak

Apabila semakin banyak LLM beralih kepada model berbilang modal, imej menjadi apa yang penyerang boleh Bergantung pada vektor ancaman terkini untuk memintas dan mentakrifkan semula langkah perlindungan. Serangan berasaskan imej berbeza dalam keterukan, daripada arahan mudah kepada senario serangan yang lebih kompleks yang direka untuk menyebabkan kerosakan industri dan menyebarkan maklumat salah yang meluas

Artikel ini diperoleh daripada: https://venturebeat.com/security/why -gpt-4-terdedah-kepada-serangan-imej-prompt-multimodal/. Jika anda perlu mencetak semula, sila nyatakan sumbernya

Atas ialah kandungan terperinci Mengapakah GPT-4P terdedah kepada serangan imej suntikan petunjuk berbilang modal?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!