Pertempuran serangan dan pertahanan segera! Columbia University mencadangkan kaedah membuat perkataan BPE, yang boleh memintas mekanisme semakan DALL-E 2 telah ditipu

Apakah perkara yang paling berharga pada tahun 2022? segera!

Model penjanaan imej berpandukan teks (penjanaan imej berpandukan teks), seperti DALL-E 2, telah menjadi popular dan netizen masih menikmatinya untuk menjana semua jenis imej lucu.

Tetapi jika anda mahu model menjana imej sasaran yang jelas dan boleh digunakan, anda mesti menguasai "ejaan" yang betul, iaitu gesaan mesti direka bentuk dengan teliti sebelum ia boleh digunakan. Malah sesetengah orang menyediakan tapak web untuk menjual gesaan

Jika gesaan itu adalah mantra jahat, gambar yang dijana mungkin "disyaki melanggar".

Walaupun DALL-E 2 telah menyediakan pelbagai mekanisme untuk menghalang model daripada disalahgunakan apabila ia dikeluarkan, seperti memadamkan imej yang ganas, penuh kebencian atau tidak sesuai daripada data latihan menggunakan cara teknikal untuk menghalang terhasil super menghadap foto Realistik, terutamanya tokoh awam.

Semasa fasa penjanaan, DALL-E 2 juga menetapkan penapis segera yang tidak membenarkan perkataan gesaan yang dimasukkan pengguna mengandungi kandungan ganas, dewasa atau politik.

Tetapi baru-baru ini, penyelidik di Columbia University mendapati bahawa beberapa perkataan yang kelihatan tidak masuk akal boleh ditambah pada gesaan, menjadikan penapis tidak dapat mengecam makna perkataan itu, tetapi sistem AI akhirnya boleh mengembalikan imej yang dijana yang bermakna .

Pautan kertas: https://arxiv.org/pdf/2208.04135.pdf

Pengarang mencadangkan dua kaedah untuk membina gesaan dipanggil Ia dipanggil dorongan macaroni, di mana makna asal perkataan macaroni merujuk kepada percampuran perkataan daripada pelbagai bahasa untuk menjana perbendaharaan kata baru Sebagai contoh, di Pakistan, perkataan campuran bahasa Urdu dan bahasa Inggeris adalah sangat biasa.

Korpus latihan DALL-E 2 biasanya data yang dikumpul daripada Internet Proses mewujudkan hubungan konseptual antara teks dan imej akan lebih kurang melibatkan pembelajaran pelbagai bahasa, supaya model terlatih mempunyai Keupayaan. untuk mengenali konsep dalam pelbagai bahasa secara serentak.

Jadi anda boleh menggunakan gabungan berbilang bahasa untuk membentuk perkataan baharu, memintas penapis segera yang direka oleh manusia dan mencapai tujuan menentang serangan.

Sebagai contoh, perkataan "burung" ialah Vögel dalam bahasa Jerman, uccelli dalam bahasa Itali, oiseaux dalam bahasa Perancis dan pájaros dalam bahasa Sepanyol Model CLIP menggunakan algoritma pengekodan pasangan bait (BPE) untuk memasukkan ayat gesaan Selepas perkataan segmentasi, ia boleh dibahagikan kepada beberapa subkata.

Selepas menyusun semula subkata menjadi perkataan baharu, seperti uccoisegeljaros, DALL-E 2 masih boleh menghasilkan imej burung, tetapi manusia tidak dapat memahami makna perkataan itu.

Walaupun sempadan subkata tidak dipatuhi dengan ketat, contohnya, jika diganti dengan voiscellpajaraux dan oisvogajaro, model masih boleh menjana imej burung.

Selain burung, penyelidik mendapati kaedah menggabungkan pelbagai bahasa boleh mencapai hasil yang baik dalam domain imej yang berbeza, dan hasil penjanaan imej menunjukkan konsistensi yang sangat tinggi .

Penjanaan imej yang berkaitan daripada alam haiwan kepada landskap, kenderaan, pemandangan dan emosi adalah mudah.

Walaupun model penjanaan imej berpandukan teks yang berbeza mempunyai seni bina, data latihan dan kaedah pembahagian perkataan yang berbeza, pada dasarnya, petunjuk macaroni boleh digunakan pada mana-mana data berbilang bahasa Kesan yang sama juga boleh didapati dalam model terlatih, seperti model mini DALL-E.

Perlu diingat bahawa walaupun nama serupa, DALL-E 2 dan DALL-E mini agak berbeza. Mereka mempunyai seni bina yang berbeza (DALL-E mini tidak menggunakan model resapan), dilatih pada set data yang berbeza dan menggunakan tokenizer yang berbeza (DALL-E mini menggunakan tokenizer BART, yang mungkin berkelakuan berbeza daripada perkataan split tokenizer CLIP).

Walaupun terdapat perbezaan ini, petua makaroni masih berfungsi pada kedua-dua model, dan prinsip di sebaliknya perlu dikaji lebih lanjut.

Tetapi tidak semua isyarat makaroni dipindahkan dengan betul antara model yang berbeza, contohnya semasa farpapmaripterling menghasilkan imej rama-rama untuk DALL-E 2 seperti yang dijangkakan, ia menghasilkan cendawan dalam imej mini DALL-E.

Para penyelidik membuat spekulasi bahawa mungkin model yang lebih besar yang dilatih pada set data yang lebih besar lebih mudah terdedah kepada isyarat makaroni kerana mereka Hubungan pergaulan yang lebih kukuh dipelajari antara unit subkata dan visual konsep dalam bahasa yang berbeza.

Ini mungkin menjelaskan mengapa beberapa petua makaroni yang menghasilkan hasil yang diharapkan dalam DALL-E 2 tidak berfungsi dalam DALL-E mini, tetapi terdapat beberapa contoh sebaliknya.

Arah aliran ini mungkin bukan berita baik, kerana model berskala besar mungkin lebih terdedah kepada serangan musuh menggunakan pembayang makaroni.

Selain menggunakan kata majmuk tunggal sebagai gesaan, kata majmuk juga boleh dibenamkan ke dalam sintaks bahasa Inggeris untuk membentuk ayat, dan kesan penjanaan imej adalah serupa dengan perkataan asal.

Dan kata majmuk juga mempunyai kelebihan iaitu ia boleh digabungkan untuk menghasilkan adegan yang lebih spesifik dan kompleks. Walaupun isyarat makaroni yang kompleks perlu mematuhi struktur sintaksis bahasa Inggeris, menjadikan hasil yang dihasilkan lebih mudah untuk ditafsirkan daripada isyarat menggunakan rentetan sintetik, maklumat yang disampaikan kepada model masih agak kabur.

Bagi kebanyakan orang, tanpa pendedahan terlebih dahulu kepada isyarat makaroni dan pengetahuan tentang bahasa yang digunakan untuk penghibridan, mungkin sukar untuk meneka jenis senario yang akan timbul dengan gesaan An eidelucertlagarzard makan maripofarterling .

Tambahan pula, gesaan kompleks seperti itu tidak akan mencetuskan penapis kandungan berasaskan senarai hitam, walaupun fakta bahawa ia menggunakan perkataan bahasa Inggeris biasa, selagi konsep yang ditapis itu cukup "disulitkan" menggunakan kaedah makaroni .

Petua macaroni tidak semestinya memerlukan gabungan subkata dalam berbilang bahasa Menggabungkannya dalam satu bahasa juga boleh menghasilkan konsep visual yang sah, tetapi orang yang biasa dengan bahasa Inggeris mungkin meneka kesan rentetan yang dimaksudkan, seperti Ia. mudah diteka bahawa perkataan gembira adalah kata majmuk gembira dan ceria.

Kaedah kedua dipanggil Evocative Prompting gabungan "dibangkitkan" untuk mencipta perkataan baharu.

Merujuk kepada Nomenklatur Binomial dalam klasifikasi biologi, anda boleh mencipta "perkataan pseudo-Latin" baharu berdasarkan "nama genus" dan "julukan spesies", dan DALL-E boleh menggunakannya mengikut yang sepadan. Topik menjana spesies yang sepadan.

Gambar dadah baharu juga boleh dihasilkan mengikut peraturan penamaan dadah.

isyarat menggugah juga boleh digunakan pada perkaitan antara ciri khusus sesuatu bahasa dan ciri visual yang berkaitan dengan tempat dan budaya bahasa yang sepadan. Sebagai contoh, berdasarkan nama bangunan itu, model itu boleh menyimpulkan gaya negara mana itu bandar di Perancis.

Walau bagaimanapun, ia tidak semestinya semua bangunan Contohnya, imej terakhir yang dihasilkan oleh DALL-E mini ialah potret Perancis abad ke-17, bukan lokasi di Perancis. tetapi Hubungan dengan budaya Perancis telah dipelihara.

Petua yang menggugah juga boleh digabungkan dengan penghibridan leksikal untuk mendapatkan lebih kawalan ke atas ciri khusus output.

Memperkenalkan potongan bahasa Inggeris ke dalam tatanama pseudo-Latin akan menyebabkan DALL-E 2 menghasilkan imej haiwan dengan atribut tertentu, seperti perkataan gesaan scariosus ferocianensis yang menggabungkan menakutkan dan ganas dengan entri pseudo-Latin Digabungkan, mereka boleh menghasilkan imej "reptilia" yang menakutkan seperti kala jengking.

cutiosus adorableensis menggabungkan comel dan comel dengan istilah pseudo-Latin untuk menghasilkan imej mamalia comel dalam erti kata tradisional watosus swimensis menggabungkan air dan berenang (berenang) digabungkan dengan imbuhan pseudo-Latin boleh; menghasilkan imej haiwan akuatik; flyosus wingensis menggabungkan lalat (fly) dan bersayap (bersayap) dengan imbuhan pseudo-Latin untuk menghasilkan imej serangga terbang.

Pada dasarnya, perbendaharaan kata yang dijana oleh kaedah makaroni boleh memberikan cara yang mudah dan nampaknya boleh dipercayai untuk memintas penapis segera Orang yang mempunyai motif tersembunyi boleh menggunakannya untuk menghasilkan perkataan yang berbahaya, menyinggung perasaan atau lain-lain yang sensitif kandungan, termasuk imej ganas, penuh kebencian, perkauman, seksis atau lucah, serta imej yang mungkin melanggar hak harta intelek atau menggambarkan individu sebenar.

Walaupun syarikat yang menyediakan perkhidmatan penjanaan imej telah melakukan usaha yang meluas untuk menghalang penjanaan jenis output ini mengikut dasar kandungan mereka, gesaan makaroni masih boleh menimbulkan ancaman besar kepada protokol keselamatan sistem penjanaan imej komersial .

Ancaman yang ditimbulkan oleh isyarat yang menggugah adalah kurang jelas, kerana ia tidak menyediakan cara yang sangat berkesan dan boleh dipercayai untuk mencetuskan perkaitan visual khusus untuk rentetan, dan ia kebanyakannya terhad kepada ciri morfologi luas perkataan atau bahasa persatuan dengan konsep yang berkaitan.

Secara amnya, petua makaroni lebih mudah dikendalikan daripada petua yang menggugah, dan penapisan kandungan senarai hitam berasaskan kata kunci dalam model jenis ini tidak mencukupi untuk menahan serangan.

Adakah DALL-E 2 akan menjadi gelap?

Atas ialah kandungan terperinci Pertempuran serangan dan pertahanan segera! Columbia University mencadangkan kaedah membuat perkataan BPE, yang boleh memintas mekanisme semakan DALL-E 2 telah ditipu. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!