OpenAI memperkukuh pasukan keselamatan, memperkasakan mereka untuk memveto AI berbahaya

Model dalam pengeluaran diuruskan oleh pasukan "Sistem Keselamatan". Model canggih dalam pembangunan mempunyai pasukan "kesediaan" yang mengenal pasti dan mengukur risiko sebelum model dikeluarkan. Kemudian terdapat pasukan "Penjajaran Super", yang sedang mengusahakan garis panduan teori untuk model "kecerdasan super"

Susun semula Kumpulan Penasihat Keselamatan untuk duduk di atas pasukan teknikal untuk membuat cadangan kepada kepimpinan dan memberi kuasa veto kepada lembaga

OpenAI mengumumkan bahawa untuk mempertahankan diri daripada ancaman kecerdasan buatan yang berbahaya, mereka memperkukuh proses keselamatan dalaman mereka. Mereka akan mewujudkan jabatan baharu yang dipanggil "Kumpulan Penasihat Keselamatan," yang akan duduk di atas pasukan teknologi dan memberikan nasihat kepada kepimpinan dan diberi kuasa veto lembaga. Keputusan ini diumumkan pada 18 Disember waktu tempatan

Kemas kini ini menimbulkan kebimbangan terutamanya kerana Ketua Pegawai Eksekutif OpenAI Sam Altman telah dipecat daripada lembaga pengarah, yang nampaknya berkaitan dengan isu keselamatan dengan model besar. Dua ahli lembaga pengarah OpenAI, Ilya Sutskvi dan Helen Toner, kehilangan tempat duduk lembaga mereka berikutan rombakan peringkat tinggi

Dalam siaran ini, OpenAI membincangkan "Rangka Kerja Kesediaan" terbaru mereka, cara OpenAI menjejak, menilai, meramal dan melindungi daripada risiko bencana yang ditimbulkan oleh model yang semakin berkuasa. Apakah definisi risiko bencana? OpenAI menerangkan, "Apa yang kami panggil risiko bencana merujuk kepada risiko yang boleh mengakibatkan ratusan bilion dolar kerugian ekonomi atau menyebabkan kecederaan serius atau kematian kepada ramai orang Ini juga termasuk tetapi tidak terhad kepada risiko wujud."

Terdapat tiga set pasukan keselamatan yang meliputi jangka masa dan risiko yang berbeza

Menurut laman web rasmi OpenAI, model dalam pengeluaran diuruskan oleh pasukan "Sistem Keselamatan". Semasa fasa pembangunan, terdapat pasukan yang dipanggil "persediaan" yang mengenal pasti dan menilai risiko sebelum model dikeluarkan. Di samping itu, terdapat pasukan yang dipanggil "superalignment" yang sedang mengusahakan garis panduan teori untuk model "superintelligent"

Pasukan OpenAI akan menilai setiap model mengikut empat kategori risiko: keselamatan siber, persuasif (seperti maklumat yang salah), autonomi model (iaitu, keupayaan untuk berkelakuan secara autonomi), dan CBRN (ancaman kimia, biologi, radiologi dan nuklear, seperti keupayaan untuk mencipta patogen baru)

OpenAI mempertimbangkan pelbagai mitigasi dalam andaiannya: contohnya, model mengekalkan tempahan yang munasabah tentang menerangkan proses membuat bom napalm atau paip. Selepas mengambil kira mitigasi yang diketahui, jika model masih dinilai sebagai mempunyai risiko "tinggi", ia tidak akan digunakan, dan jika model menunjukkan sebarang risiko "kritikal", ia tidak akan dibangunkan lagi

Bukan semua orang yang membuat model adalah orang yang terbaik untuk menilai dan membuat cadangan. Atas sebab ini, OpenAI sedang menubuhkan pasukan yang dipanggil "Kumpulan Penasihat Keselamatan Merentas Fungsian" yang akan menyemak laporan penyelidik dari peringkat teknikal dan membuat pengesyoran dari perspektif yang lebih tinggi, dengan harapan dapat mendedahkan beberapa "yang tidak diketahui."

Proses ini memerlukan pengesyoran ini dihantar kepada kedua-dua lembaga pengarah dan kepimpinan, yang akan memutuskan sama ada untuk meneruskan atau menghentikan operasi, tetapi lembaga pengarah mempunyai hak untuk membalikkan keputusan ini. Ini mengelakkan produk atau proses berisiko tinggi diluluskan tanpa pengetahuan lembaga

Walau bagaimanapun, dunia luar masih bimbang jika panel pakar membuat syor dan CEO membuat keputusan berdasarkan maklumat ini, adakah lembaga pengarah OpenAI benar-benar mempunyai hak untuk menafikan dan mengambil tindakan? Jika mereka melakukannya, adakah orang ramai akan mendengarnya? Pada masa ini, selain daripada janji OpenAI untuk mendapatkan audit pihak ketiga yang bebas, isu ketelusan mereka tidak benar-benar ditangani

"Rangka Kerja Kesediaan" OpenAI mengandungi lima elemen utama berikut:

1. Penilaian dan pemarkahan

Kami akan menilai model kami dan sentiasa mengemas kini "kad skor" kami. Kami akan menilai semua model terkini, termasuk tiga kali ganda pengiraan berkesan semasa latihan. Kami akan menolak had model. Penemuan ini akan membantu kami menilai risiko model terkini dan mengukur keberkesanan sebarang langkah mitigasi yang dicadangkan. Matlamat kami adalah untuk mengesan ketidakamanan khusus tepi untuk mengurangkan risiko dengan berkesan. Untuk menjejaki tahap keselamatan model kami, kami akan menghasilkan "kad skor" risiko dan laporan terperinci

Untuk menilai semua model canggih, "kad skor" diperlukan

Tujuan menetapkan ambang risiko adalah untuk mempunyai sempadan yang jelas semasa membuat keputusan dan mengurus risiko. Ambang risiko merujuk kepada tahap maksimum risiko yang sanggup ditanggung oleh organisasi atau individu dalam keadaan tertentu. Dengan menetapkan ambang risiko, anda boleh membantu organisasi atau individu mengenal pasti apabila tindakan diperlukan untuk mengurangkan atau mengelakkan risiko. Penetapan ambang risiko hendaklah berdasarkan keputusan penilaian risiko, peraturan dan dasar yang berkaitan, dan toleransi risiko organisasi atau individu. Apabila menetapkan ambang risiko, ciri dan kesan jenis risiko yang berbeza perlu diambil kira untuk memastikan keberkesanan dan kebolehgunaan langkah pengurusan risiko. Akhir sekali, ambang risiko yang ditetapkan hendaklah selalu dinilai dan diselaraskan untuk kekal konsisten dengan objektif pengurusan risiko organisasi atau individu

Kami akan menetapkan ambang risiko yang mencetuskan langkah keselamatan. Kami menetapkan ambang untuk tahap risiko berdasarkan kategori penjejakan awal berikut: keselamatan siber, CBRN (ancaman kimia, biologi, radiologi, nuklear), pujukan dan autonomi model. Kami menentukan empat tahap risiko keselamatan, dan hanya model dengan skor pasca-mitigasi "sederhana" atau lebih rendah boleh digunakan hanya model dengan skor pasca-mitigasi "tinggi" atau lebih rendah boleh dikembangkan lagi. Untuk model yang mempunyai risiko tinggi atau teruk (pra-mitigasi), kami juga akan melaksanakan langkah keselamatan tambahan

Tahap Bahaya

Tetapkan semula struktur operasi untuk memantau kerja teknikal dan membuat keputusan keselamatan

Kami akan menubuhkan pasukan khusus untuk menyelia kerja teknikal dan struktur operasi keputusan keselamatan. Pasukan kesediaan akan memacu kerja teknikal untuk memeriksa had keupayaan model termaju dan menjalankan penilaian dan pelaporan komprehensif. Kerja teknikal ini penting untuk pembangunan dan keputusan penggunaan model keselamatan OpenAI. Kami sedang mewujudkan kumpulan penasihat keselamatan merentas fungsi untuk menyemak semua laporan dan menghantarnya kepada kedua-dua kepimpinan dan lembaga pengarah. Walaupun kepimpinan adalah pembuat keputusan, lembaga pengarah mempunyai kuasa untuk membatalkan keputusan

Selia perubahan baharu dalam kerja teknikal dan struktur operasi membuat keputusan keselamatan

Tingkatkan keselamatan dan perkukuh akauntabiliti luar

Kami akan membangunkan protokol untuk meningkatkan keselamatan dan akauntabiliti luaran. Kami akan menjalankan latihan keselamatan secara berkala untuk menguji tekanan perniagaan kami dan budaya kami sendiri. Sesetengah isu keselamatan boleh timbul dengan cepat, jadi kami mempunyai keupayaan untuk membenderakan isu mendesak untuk respons pantas. Kami percaya adalah berguna untuk mendapatkan maklum balas daripada orang di luar OpenAI dan menyemaknya oleh pihak ketiga bebas yang berkelayakan. Kami akan terus meminta orang lain membentuk pasukan merah dan menilai model kami, dan merancang untuk berkongsi kemas kini secara luaran

Kurangkan risiko keselamatan lain yang diketahui dan tidak diketahui:

Kami akan membantu dalam mengurangkan risiko keselamatan lain yang diketahui dan tidak diketahui. Kami akan bekerjasama rapat dengan pihak luar serta secara dalaman dengan pasukan seperti sistem keselamatan untuk mengesan penyalahgunaan dunia sebenar. Kami juga akan bekerjasama dengan Super Alignment untuk menjejaki risiko salah jajaran segera. Kami juga merintis penyelidikan baharu untuk mengukur bagaimana risiko berkembang mengikut skala model dan membantu meramalkan risiko lebih awal, sama seperti kejayaan kami sebelum ini dengan Undang-undang Skala. Akhirnya, kami akan mempunyai proses berterusan untuk cuba menyelesaikan sebarang "tidak diketahui" yang muncul

Atas ialah kandungan terperinci OpenAI memperkukuh pasukan keselamatan, memperkasakan mereka untuk memveto AI berbahaya. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!