OWASP mengeluarkan senarai semak keselamatan dan tadbir urus rangkaian model bahasa besar

Risiko terbesar yang dihadapi oleh teknologi kecerdasan buatan pada masa ini ialah pembangunan dan kelajuan aplikasi model bahasa besar (LLM) dan teknologi kecerdasan buatan generatif telah jauh melebihi kelajuan keselamatan dan tadbir urus.

Penggunaan AI generatif dan produk model bahasa besar daripada syarikat seperti OpenAI, Anthropic, Google dan Microsoft berkembang dengan pesat. Pada masa yang sama, penyelesaian model bahasa besar sumber terbuka juga berkembang pesat komuniti kecerdasan buatan sumber terbuka seperti HuggingFace menyediakan sejumlah besar model sumber terbuka, set data dan aplikasi AI.

Untuk menggalakkan pembangunan kecerdasan buatan, organisasi industri seperti OWASP, OpenSSF dan CISA sedang giat membangun dan menyediakan aset utama untuk keselamatan dan tadbir urus kecerdasan buatan, seperti OWASP AI Exchange, AI Security and Privacy Guide, dan Senarai Sepuluh Teratas Risiko Model Bahasa Besar ( LLMTop10).

Baru-baru ini, OWASP mengeluarkan senarai semak keselamatan dan tadbir urus model bahasa yang besar, mengisi jurang dalam tadbir urus keselamatan kecerdasan buatan generatif Kandungan khusus adalah seperti berikut:

Takrifan jenis AI dan ancaman OWASP

Keselamatan siber model bahasa OWASP. senarai semak mentakrifkan perbezaan antara kecerdasan buatan, pembelajaran mesin, AI generatif dan model bahasa besar.

Sebagai contoh, takrifan AI generatif OWASP ialah: sejenis pembelajaran mesin yang menumpukan pada mencipta data baharu, manakala model bahasa besar ialah model AI yang digunakan untuk memproses dan menjana "kandungan semula jadi" seperti manusia— —Mereka membuat ramalan berdasarkan input yang disediakan, dan output adalah "kandungan semula jadi" seperti manusia.

Mengenai "Senarai Ancaman Teratas Model Bahasa Besar" yang dikeluarkan sebelum ini, OWASP percaya bahawa ia boleh membantu pengamal keselamatan siber mengikuti perkembangan teknologi AI yang pesat membangun, mengenal pasti ancaman utama dan memastikan perusahaan mempunyai kawalan keselamatan asas untuk melindungi dan menyokong penggunaan. perniagaan kecerdasan buatan generatif dan model bahasa besar. Walau bagaimanapun, OWASP percaya bahawa senarai ini tidak lengkap dan perlu dipertingkatkan secara berterusan berdasarkan pembangunan kecerdasan buatan generatif.

OWASP membahagikan ancaman keselamatan AI kepada lima jenis berikut:

Penyerahan strategi tadbir urus keselamatan model bahasa besar OWASP dibahagikan kepada enam langkah:

Berikut ialah senarai keselamatan rangkaian model bahasa OWASP dan besar :

1. Risiko musuh

Risiko musuh model bahasa besar bukan sahaja melibatkan pesaing, tetapi juga melibatkan penyerang bukan sahaja pada postur serangan, tetapi juga pada postur perniagaan. Ini termasuk memahami cara pesaing menggunakan AI untuk memacu hasil perniagaan, serta mengemas kini proses dan dasar dalaman, seperti pelan tindak balas insiden (IRP), untuk bertindak balas terhadap serangan dan insiden AI generatif.

2. Pemodelan Ancaman

Pemodelan ancaman ialah teknologi keselamatan yang semakin popular, semakin mendapat perhatian dengan promosi konsep sistem reka bentuk selamat, dan telah diluluskan oleh Agensi Keselamatan Siber dan Infrastruktur A.S. (CISA) ) dan organisasi berwibawa lain. Pemodelan ancaman memerlukan pemikiran tentang cara penyerang memanfaatkan model bahasa besar dan AI generatif untuk mempercepatkan eksploitasi kerentanan, keupayaan perusahaan untuk mengesan model bahasa besar yang berniat jahat, dan sama ada organisasi boleh melindungi model bahasa besar dan platform AI generatif daripada sistem dalaman dan persekitaran Sambungan.

3. Senarai Semak Aset Kecerdasan Buatan

Pepatah "Anda tidak boleh melindungi aset yang tidak diketahui" juga digunakan untuk bidang AI generatif dan model bahasa besar. Bahagian inventori OWASP ini melibatkan inventori aset AI untuk penyelesaian AI yang dibangunkan secara dalaman serta alat dan platform luaran.

OWASP menekankan bahawa perusahaan bukan sahaja mesti memahami alat dan perkhidmatan yang digunakan secara dalaman, tetapi juga memahami pemilikan mereka, iaitu, siapa yang bertanggungjawab untuk penggunaan alatan dan perkhidmatan ini. Senarai semak juga mengesyorkan memasukkan komponen AI dalam bil bahan perisian (SBOM) dan mendokumenkan sumber data AI dan sensitiviti masing-masing.

Selain menginventori alatan AI sedia ada, perniagaan juga harus mewujudkan proses selamat untuk menambahkan alatan dan perkhidmatan AI masa hadapan pada inventori.

4. Latihan Keselamatan Kecerdasan Buatan dan Kesedaran Privasi

Sering kali dikatakan bahawa "orang ramai adalah kelemahan keselamatan terbesar". model, boleh mengurangkan risiko manusia.

Ini termasuk membantu pekerja memahami inisiatif model AI/bahasa besar generatif sedia ada, teknologi dan keupayaan mereka, serta pertimbangan keselamatan utama seperti pelanggaran data. Selain itu, membina budaya keselamatan amanah dan ketelusan adalah penting.

Budaya amanah dan ketelusan dalam perusahaan juga boleh membantu mengelakkan ancaman AI bayangan, jika tidak pekerja akan "secara rahsia" menggunakan AI bayangan tanpa memberitahu pasukan IT dan keselamatan.

5. Kes perniagaan untuk projek kecerdasan buatan

Sama seperti pengkomputeran awan, kebanyakan syarikat sebenarnya tidak membangunkan kes perniagaan strategik yang koheren untuk aplikasi teknologi baharu seperti kecerdasan buatan generatif dan model bahasa besar, dan mudah untuk mengikuti trend secara membuta tuli Terperangkap dalam gembar-gembur. Tanpa kes perniagaan yang kukuh, aplikasi AI perusahaan berkemungkinan menghasilkan hasil yang buruk dan meningkatkan risiko.

6. Tadbir Urus

Tanpa tadbir urus, syarikat tidak boleh mewujudkan mekanisme akauntabiliti dan matlamat yang jelas untuk kecerdasan buatan. Senarai semak OWASP mengesyorkan agar perusahaan membangunkan carta RACI (matriks peruntukan tanggungjawab) untuk aplikasi kecerdasan buatan, merekod dan memperuntukkan tanggungjawab risiko dan tugas tadbir urus, dan mewujudkan dasar dan prosedur kecerdasan buatan seluruh perusahaan.

7 Undang-undang

Dengan perkembangan pesat teknologi kecerdasan buatan, impak undang-undangnya tidak boleh dipandang remeh dan boleh membawa risiko kewangan dan reputasi yang ketara kepada perusahaan.

Hal ehwal undang-undang kecerdasan buatan melibatkan beberapa siri aktiviti, seperti waranti produk kecerdasan buatan, perjanjian lesen pengguna akhir kecerdasan buatan (EULA), pemilikan kod yang dibangunkan menggunakan alat kecerdasan buatan, risiko harta intelek dan klausa pampasan kontrak, dsb. Ringkasnya, pastikan pasukan undang-undang atau pakar anda memahami pelbagai aktiviti undang-undang sokongan yang perlu dilakukan oleh syarikat anda apabila menggunakan AI generatif dan model bahasa besar.

8. Peraturan kawal selia kecerdasan buatan juga berkembang pesat, seperti Akta Kepintaran Buatan EU, dan peraturan di negara dan wilayah lain akan diperkenalkan tidak lama lagi. Perniagaan harus memahami keperluan pematuhan AI negara mereka, seperti pemantauan pekerja, dan mempunyai pemahaman yang jelas tentang cara vendor AI mereka menyimpan dan memadam data serta mengawal selia penggunaannya.

9. Gunakan atau laksanakan penyelesaian model bahasa yang besar

Menggunakan penyelesaian model bahasa yang besar memerlukan risiko dan kawalan khusus untuk dipertimbangkan. Senarai semak OWASP menyenaraikan item seperti kawalan akses, keselamatan saluran paip latihan, aliran kerja data pemetaan dan memahami kelemahan sedia ada atau berpotensi dalam model model bahasa besar dan rantaian bekalan. Selain itu, audit pihak ketiga, ujian penembusan dan juga semakan kod vendor diperlukan, pada mulanya dan secara berterusan.

10. Ujian, Penilaian, Pengesahan dan Pengesahan (TEVV)

Proses TEVV ialah proses yang disyorkan secara khusus oleh NIST dalam rangka kerja kecerdasan buatannya. Ini melibatkan mewujudkan ujian berterusan, penilaian, pengesahan dan pengesahan sepanjang kitaran hayat model AI, serta menyediakan metrik pelaksanaan pada kefungsian, keselamatan dan kebolehpercayaan model AI.

11. Kad Model dan Kad Risiko

Untuk menggunakan model bahasa yang besar secara beretika, senarai semak OWASP memerlukan perusahaan menggunakan model dan kad risiko yang boleh digunakan untuk membolehkan pengguna memahami dan mempercayai sistem AI, dan menangani berat sebelah dan privasi secara terbuka, dan lain-lain akibat negatif yang berpotensi.

Kad ini boleh mengandungi item seperti butiran model, seni bina, kaedah data latihan dan metrik prestasi. Pertimbangan untuk AI yang bertanggungjawab dan kebimbangan tentang keadilan dan ketelusan juga diserlahkan.

12RAG: Pengoptimuman Model Bahasa Besar

Retrieval Augmented Generation (RAG) ialah kaedah mengoptimumkan keupayaan model bahasa besar untuk mendapatkan semula data yang berkaitan daripada sumber tertentu. Ia adalah salah satu cara untuk mengoptimumkan model pra-latihan atau melatih semula model sedia ada berdasarkan data baharu untuk meningkatkan prestasi. OWASP mengesyorkan agar perusahaan melaksanakan RAG untuk memaksimumkan nilai dan keberkesanan model bahasa besar.

13. AI Red Team

Akhir sekali, senarai semak OWASP menyerlahkan kepentingan AI Red Teaming, yang mensimulasikan serangan musuh ke atas sistem AI untuk mengenal pasti kelemahan dan mengesahkan kawalan dan pertahanan sedia ada. OWASP menekankan bahawa pasukan merah harus menjadi sebahagian daripada penyelesaian keselamatan yang komprehensif dengan AI generatif dan model bahasa yang besar.

Perlu diingat bahawa perusahaan juga perlu mempunyai pemahaman yang jelas tentang perkhidmatan pasukan merah dan keperluan sistem serta keupayaan vendor model AI generatif luaran dan model bahasa besar untuk mengelak daripada melanggar dasar atau malah menghadapi masalah undang-undang.

Atas ialah kandungan terperinci OWASP mengeluarkan senarai semak keselamatan dan tadbir urus rangkaian model bahasa besar. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!