Bagaimana untuk menangani 'pedang bermata dua' model besar generatif? Zhejiang Lab mengeluarkan 'Kertas Putih mengenai Keselamatan dan Privasi Model Besar Generatif'

Pada masa ini, model besar generatif telah membawa perubahan mendalam kepada penyelidikan akademik dan juga kehidupan sosial. Diwakili oleh ChatGPT, keupayaan model besar generatif telah menunjukkan kemungkinan untuk bergerak ke arah kecerdasan buatan umum. Tetapi pada masa yang sama, penyelidik juga telah mula menyedari bahawa model generatif besar seperti ChatGPT menghadapi risiko keselamatan dalam data dan model.

Pada awal Mei tahun ini, Rumah Putih mengadakan pertemuan kolektif dengan CEO syarikat AI seperti Google, Microsoft, OpenAI dan Anthropic untuk membincangkan ledakan teknologi penjanaan AI dan risiko yang tersembunyi di sebaliknya. Bagaimana untuk membangunkan sistem kecerdasan buatan secara bertanggungjawab dan membangunkan langkah pengawalseliaan yang berkesan. Teknologi model besar generatif domestik juga sedang dibangunkan, tetapi pada masa yang sama, ia juga perlu untuk menjalankan analisis yang sepadan tentang isu keselamatan untuk mengambil pendekatan serampang dua mata untuk mengelakkan bahaya tersembunyi yang dibawa oleh pedang bermata dua generatif. model besar.

Untuk tujuan ini, Pasukan Kecerdasan Buatan dan Keselamatan Institut Teori Asas Makmal Zhijiang telah buat pertama kalinya meringkaskan secara menyeluruh isu keselamatan dan privasi model besar generatif yang diwakili oleh ChatGPT dalam kertas putih, dengan harapan dapat menyediakan kakitangan Teknikal yang terlibat dalam penyelidikan isu keselamatan menunjukkan hala tuju, dan juga menyediakan asas bagi pembuat dasar berkaitan AI.

Pautan kertas putih: https://github.com/xiaogang00/white-paper-for- besar -model-security-and-privacy

Pembangunan dan aplikasi penting model besar generatif

Kertas putih ini mula-mula meringkaskan model generatif seperti ChatGPT dan GPT4 Sejarah pembangunan model besar, serta pelbagai keupayaan menakjubkan, perubahan sosial, aplikasi sosial, dll. yang dibawanya. Penulis menyenaraikan ciri-ciri dan kelemahan GPT-1, GPT-2, GPT-3, Google Bert dan model lain sebelum kemunculan ChatGPT dan GPT4 Kelemahan ini berbeza dengan keupayaan hebat ChatGPT dan GPT4 dan, ChatGPT dan GPT4 kemudian Sebilangan besar model telah muncul, termasuk LLaMa, Alpaca, Wen Xin Yi Yan, Tong Yi Qian Wen, dll. Kemunculan mereka telah membawa kepada kemunculan model baharu dan berkuasa dalam bidang aplikasi seperti interaksi manusia-komputer, pengurusan sumber, penyelidikan saintifik, dan alat penciptaan kandungan. Tetapi pada masa yang sama, isu termasuk keselamatan data, peraturan penggunaan, etika yang boleh dipercayai, hak harta intelek dan keselamatan model juga telah muncul.

Isu Keselamatan Data

Kertas putih menyatakan bahawa keselamatan dan privasi data adalah isu yang sangat penting dalam penggunaan dan proses pembangunan model generatif besar seperti ChatGPT dan GPT4 , dan Ia dianalisis dari dua aspek: "tersurat" dan "tersirat".

Dalam kebocoran maklumat yang jelas, pertama, data latihan model generatif besar seperti ChatGPT secara tidak sengaja ditukar kepada kandungan yang dijana, termasuk maklumat individu sensitif dan peribadi seperti nombor akaun kad bank, maklumat kes, dsb. Selain itu, risiko keselamatan dan privasi data ChatGPT juga ditunjukkan dalam penyimpanan kandungan kotak dialognya Apabila pengguna berinteraksi dengan ChatGPT, maklumat mereka akan direkodkan dan disimpan dalam beberapa bentuk.

Kertas putih itu juga membangkitkan isu kebocoran maklumat tersirat yang telah diabaikan oleh semua orang sebelum ini. Pertama sekali, risiko keselamatan dan privasi data yang dikemukakan oleh ChatGPT ialah ia mungkin mengumpul data dialog untuk pengesyoran pengiklanan, serta mengumpul data dialog untuk pengesyoran atau tugas pembelajaran mesin hiliran lain, dan ChatGPT kadangkala boleh menjana maklumat palsu untuk mendorong pengguna untuk membocorkan satu siri data.

Isu spesifikasi penggunaan

Dalam kertas putih, penulis menyebut bahawa pemahaman yang kuat dan keupayaan penjanaan model generatif besar seperti ChatGPT dan GPT4 telah membawa manfaat yang besar kepada kehidupan dan pengeluaran kita Ia membawa banyak kemudahan, tetapi pada masa yang sama, terdapat lebih banyak peluang untuk penggunaan berniat jahat. Tanpa kekangan peraturan, penggunaan berniat jahat akan membawa banyak masalah sosial.

Pertama, keupayaan model yang berkuasa seperti ChatGPT dan GPT-4 membuatkan sesetengah orang dengan motif tersembunyi mahu menggunakannya sebagai alat untuk aktiviti haram. Sebagai contoh, pengguna boleh menggunakan ChatGPT untuk menulis mesej teks palsu dan e-mel pancingan data, atau membangunkan kod untuk menjana perisian hasad dan perisian tebusan atas permintaan, tanpa sebarang pengetahuan pengekodan atau pengalaman jenayah.

Kedua, model generatif yang besar seperti ChatGPT dan GPT4 tidak mengambil kira peraturan undang-undang wilayah yang berbeza, dan mungkin melanggar undang-undang dan peraturan tempatan semasa penggunaan dan pengeluaran, jadi ia adalah perlu kepada Sistem kawal selia tempatan yang kukuh untuk mengesan sama ada penggunaannya bercanggah dengan undang-undang dan peraturan tempatan.

Ketiga, untuk sesetengah kawasan kelabu yang terapung di antara keselamatan dan bahaya, keupayaan keselamatan model generatif besar seperti ChatGPT belum dipertingkatkan. Sebagai contoh, ChatGPT mungkin mengeluarkan beberapa ayat yang mendorong, termasuk apabila berkomunikasi dengan pesakit yang mengalami kemurungan, ia mungkin mengeluarkan ayat tertentu untuk menyebabkan mereka mempunyai mentaliti bunuh diri.

Isu Etika Boleh Dipercayai

Model besar generatif seperti ChatGPT wujud di peringkat sosial dalam bentuk soal jawab, tetapi respons mereka selalunya tidak boleh dipercayai atau tidak boleh dinilai untuk menjadi betul. Akan ada jawapan yang salah untuk soalan, yang mungkin mempunyai kesan ke atas etika sosial yang sedia ada.

Kertas putih menunjukkan bahawa pertama sekali, respons daripada model generatif yang besar seperti ChatGPT mungkin karut yang serius berbeza. Model semasa tidak dapat memberikan bukti yang munasabah. Contohnya, ChatGPT mungkin menjawab beberapa soalan sejarah, saintifik, budaya dan lain-lain dengan salah atau bercanggah dengan fakta, malah boleh menyebabkan kekeliruan atau salah faham, yang memerlukan pengguna mempunyai keupayaan pengenalan mereka sendiri.

Isu etika model generatif besar seperti ChatGPT juga dibincangkan secara terperinci dalam kertas putih. Walaupun institusi R&D seperti OpenAI telah menggunakan ChatGPT sendiri untuk menjana kod etika mereka, ia masih belum ditentukan sama ada kod etika itu konsisten dengan nilai dan prinsip asas keadaan negara kita. Penulis menunjukkan bahawa terdapat masalah seperti menyebarkan ideologi yang berbahaya, menyebarkan prasangka dan kebencian, menjejaskan ketepatan politik, menjejaskan ekuiti pendidikan, menjejaskan keadilan sosial antarabangsa, memburukkan lagi proses mesin menggantikan manusia, dan membentuk kepompong maklumat yang menghalang pembentukan yang betul. nilai.

Isu Harta Intelek

Walaupun model generatif besar seperti ChatGPT membawa kemudahan kepada semua aspek masyarakat dengan keupayaan pemprosesan bahasa yang berkuasa dan kos penggunaan yang rendah, mereka juga mempunyai berpotensi untuk masalah pelanggaran dan memberi kesan kepada sistem undang-undang hak cipta yang sedia ada. Sebagai contoh, mungkin terdapat pertikaian hak cipta dalam karya yang dihasilkan oleh ChatGPT: Walaupun ChatGPT mempunyai keupayaan pemprosesan bahasa yang sangat baik, walaupun karya yang dihasilkan memenuhi semua keperluan rasmi hak harta intelek, ChatGPT tidak boleh menjadi subjek hak cipta subjek hak cipta menikmati hak dan juga Ia mesti memikul tanggungjawab sosial yang sepadan, dan ChatGPT hanya boleh digunakan sebagai alat produktiviti tambahan yang berkuasa untuk pengguna Ia tidak boleh mencipta secara bebas, apatah lagi keperluan utama untuk menikmati hak dan memenuhi kewajipan.

Lebih-lebih lagi, model generatif besar seperti ChatGPT masih tidak boleh dibuat secara bebas, apatah lagi keupayaan untuk berfikir secara bebas dan bebas Oleh itu, kandungan yang dihasilkan oleh ChatGPT berdasarkan input pengguna tidak memenuhi permintaan "keaslian" karya itu. Data yang digunakan oleh ChatGPT untuk latihan model berasal dari Internet Tidak kira betapa majunya algoritma latihan model, ia mesti melibatkan rujukan, analisis, dan pemprosesan pencapaian intelektual sedia ada, dan mesti ada masalah pelanggaran intelektual orang lain yang sah. hak milik.

Isu keselamatan model

Dari perspektif teknikal, model generatif besar seperti ChatGPT juga mempunyai isu keselamatan model. ChatGPT pada asasnya ialah model generatif berskala besar berdasarkan pembelajaran mendalam. Ia juga menghadapi banyak ancaman terhadap keselamatan kecerdasan buatan, termasuk kecurian model dan ralat output yang disebabkan oleh pelbagai serangan (seperti serangan musuh, serangan pintu belakang, serangan segera dan keracunan data). . tunggu).

Sebagai contoh, kecurian model merujuk kepada penyerang yang bergantung pada bilangan pertanyaan model yang terhad untuk mendapatkan model tempatan yang mempunyai fungsi dan kesan yang sama seperti model sasaran. ChatGPT telah membuka penggunaan API, yang menyediakan pintu masuk pertanyaan untuk kecurian model. Untuk contoh lain, ChatGPT dan GPT4, sebagai sistem pengkomputeran teragih, perlu memproses data input daripada semua pihak, dan selepas pengesahan oleh organisasi yang berwibawa, data ini akan digunakan secara berterusan untuk latihan. Kemudian ChatGPT dan GPT4 juga menghadapi risiko keracunan data yang lebih besar. Penyerang boleh memaksa ChatGPT dan GPT4 untuk menyuntik data yang salah apabila berinteraksi dengan ChatGPT dan GPT4, atau memberi maklum balas palsu kepada ChatGPT dan GPT4 dalam bentuk maklum balas pengguna, dengan itu mengurangkan keupayaan ChatGPT dan GPT4, atau memberi mereka Tambah serangan pintu belakang khas.

Cadangan Keselamatan dan Privasi

Akhir sekali, kertas putih menyediakan cadangan yang sepadan tentang isu seperti keselamatan dan privasi, yang boleh menjadi hala tuju dan dasar untuk penyelidik teknologi masa hadapan Rujukan penggubal.

Dari segi pengesyoran perlindungan privasi, kertas putih mencadangkan untuk meningkatkan pengehadan pengecaman dan penyebaran maklumat peribadi yang sangat sensitif dalam data asal menggunakan privasi berbeza dan teknologi lain untuk perlindungan privasi semasa proses pengumpulan data; penyimpanan data latihan perlindungan dalam bentuk penyulitan; dan sistem pensijilan keselamatan, dan melindungi privasi aplikasi hiliran.

Dari segi cadangan mengenai isu keselamatan model, kertas putih mencadangkan latihan model pengesanan untuk maklumat keselamatan dan privasi; konfrontasi Menyerang secara bertahan.

Mengenai isu pematuhan model, kertas putih mencadangkan untuk mengukur output yang dipercayai, menilai nilai amanah dan menambah fungsi pertanyaan untuk output maklumat hak cipta oleh model.

Ringkasnya, pembangunan model besar generatif AI tidak dapat dipisahkan daripada keselamatan, jadi isu keselamatannya akan menjadi titik teknikal seterusnya dan patut diatasi oleh ramai penyelidik. Keselamatan juga merupakan jaminan kestabilan sosial, dan jabatan berkaitan perlu menggubal dasar secepat mungkin.

Atas ialah kandungan terperinci Bagaimana untuk menangani 'pedang bermata dua' model besar generatif? Zhejiang Lab mengeluarkan 'Kertas Putih mengenai Keselamatan dan Privasi Model Besar Generatif'. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!