Pemikiran tentang keselamatan rangkaian AI yang dibawa oleh populariti ChatGPT

1. Laluan Pembangunan Kecerdasan Buatan

Sebelum konsep kecerdasan buatan (Aritificial Intelligene) pertama kali dicadangkan oleh John McCarthy di Darmouth College Summer Academic Symposium pada tahun 1956, manusia telah pun menggantikan manusia dengan mesin penerokaan di jalan untuk melibatkan diri dalam kerja berat dan berulang.

Pada Februari 1882, Nikola Tesla menyelesaikan idea penjana AC yang telah menyusahkannya selama 5 tahun, dan berseru dengan gembira, "Mulai sekarang, manusia tidak lagi menjadi hamba kepada kerja manual yang berat. Mesin akan membebaskan mereka , dan begitu juga seluruh dunia."

Pada tahun 1936, untuk membuktikan kewujudan proposisi yang tidak dapat diputuskan dalam matematik, Alan Turing mencadangkan idea "mesin Turing" Pada tahun 1948, beliau menerangkan sebahagian besar kandungan connectionism dalam kertas ". JENTERA PINTAR". Kemudian pada tahun 1950, beliau menerbitkan "JENTERA KOMPUTER DAN KECERDASAN" dan mencadangkan "Ujian Turing" yang terkenal. Pada tahun yang sama, Marvin Minsky dan rakan sekelasnya Dunn Edmund membina komputer rangkaian saraf pertama di dunia.

Pada tahun 1955, von Neumann menerima jemputan untuk memberi Syarahan Silliman di Universiti Yale Nota kuliah kemudiannya disusun ke dalam buku "KOMPUTER DAN OTAK".

Kecerdasan buatan telah mengalami tiga kemuncak pembangunan sejak ia dicadangkan pada 1956 hingga hari ini.

Klimaks pembangunan pertama: dari 1956 hingga 1980, simbolisme (Simbolisme) yang diwakili oleh sistem pakar dan pembelajaran mesin klasik didominasi. Juga dikenali sebagai generasi pertama kecerdasan buatan, simbolisme mencadangkan model penaakulan berdasarkan pengetahuan dan pengalaman untuk mensimulasikan tingkah laku pintar rasional manusia, seperti penaakulan, perancangan, membuat keputusan, dll. Oleh itu, asas pengetahuan dan mekanisme penaakulan diwujudkan dalam mesin untuk mensimulasikan pemikiran manusia dan tingkah laku berfikir.

Pencapaian simbolisme yang paling mewakili ialah kekalahan juara dunia Kasparov oleh program catur IBM Deep Blue pada Mei 1997. Terdapat tiga faktor untuk berjaya: faktor pertama ialah pengetahuan dan pengalaman Deep Blue dianalisis 700000 The permainan catur yang dimainkan oleh tuan manusia dan kesemua 5-6 permainan akhir diringkaskan ke dalam peraturan catur.

Kemudian melalui permainan antara tuan dan mesin, parameter dalam fungsi penilaian dinyahpepijat dan pengalaman tuan diserap sepenuhnya. Elemen kedua ialah algoritma Deep Blue menggunakan algoritma pemangkasan alfa-beta, yang sangat pantas. Faktor ketiga ialah kuasa pengkomputeran IBM menggunakan mesin RS/6000SP2 pada masa itu, yang boleh menganalisis 200 juta langkah sesaat dan meramalkan 8-12 langkah ke hadapan sesaat secara purata.

Kelebihan perlambangan ialah ia boleh meniru proses penaakulan dan pemikiran manusia, konsisten dengan proses pemikiran manusia, dan boleh membuat inferens daripada satu contoh, jadi ia boleh ditafsirkan. Tetapi simbolisme juga mempunyai kekurangan yang sangat serius Pertama, pengetahuan pakar sangat terhad dan mahal Kedua, pengetahuan pakar perlu dimasukkan ke dalam mesin melalui pengaturcaraan manual, yang memakan masa dan intensif buruh pengetahuan yang sukar untuk diungkapkan, seperti pakar perubatan tradisional Cina mengambil nadi pengalaman sebegini sukar untuk diungkapkan, maka skop penggunaan perlambangan sangat terhad.

Klimaks pembangunan kedua: 1980~1993, diwakili oleh simbolisme dan keterkaitan;

Klimaks pembangunan ketiga: 1993~1996, pembelajaran mendalam Dengan kejayaan besar dalam kuasa pengkomputeran dan data, connectionism telah menjadi sangat popular;

Pembelajaran mendalam meniru persepsi manusia, seperti penglihatan, pendengaran, sentuhan, dll., melalui model rangkaian saraf dalam. Pembelajaran mendalam mempunyai dua kelebihan: kelebihan pertama ialah ia tidak memerlukan pengetahuan pakar domain dan ambang teknikal adalah rendah, kelebihan kedua ialah semakin besar skala rangkaian yang dinaik taraf, semakin besar data yang boleh diproses;

Salah satu contoh pembelajaran mendalam yang paling tipikal ialah program Go. Sebelum Oktober 2015, program Go yang dibuat menggunakan simbolisme, iaitu kaedah berasaskan pengetahuan, boleh mencapai tahap tertinggi 5-dan amatur. Menjelang Oktober 2015, program Go mengalahkan juara Eropah, dan menjelang Mac 2016, ia mengalahkan juara dunia. Menjelang Oktober 2017, AlphaGo mengalahkan AlphaGo menggunakan pembelajaran mendalam untuk mencapai lompatan tiga kali ganda dalam tahap program Go, daripada peringkat amatur ke tahap profesional, dari peringkat profesional kepada juara dunia, dan daripada juara dunia kepada juara dunia juara.

AlphaGo mencapai lonjakan tiga kali ganda dalam masa dua tahun Kejayaannya terutamanya datang dari tiga aspek: data besar, algoritma dan kuasa pengkomputeran. AlphaGo mempelajari 30 juta permainan catur sedia ada, dan bermain 30 juta permainan lagi dengan dirinya sendiri, untuk sejumlah 60 juta permainan catur Ia menggunakan carian pokok Monte Carlo, pembelajaran pengukuhan, pembelajaran mendalam dan algoritma lain, menggunakan sejumlah 1202 CPU dan 280. GPU untuk mengira.

Pembelajaran mendalam juga mempunyai had yang besar, seperti tidak dapat ditafsirkan, tidak selamat, tidak mudah untuk digeneralisasikan dan memerlukan sejumlah besar sampel. Sebagai contoh, gambar wajah manusia mungkin dikenali sebagai anjing selepas beberapa pengubahsuaian Mengapa ini berlaku di luar pemahaman manusia.

Pada tahun 2016, Actionism, yang diwakili oleh pembelajaran pengukuhan, mendapat perhatian besar selepas kemunculan AlphaZero, dan dipuji sebagai satu-satunya cara untuk kecerdasan buatan am.

Simbolisme, yang diwakili oleh penaakulan logik, memacu kecerdasan dengan pengetahuan, dan keterkaitan, yang diwakili oleh pembelajaran mendalam, memacu kecerdasan dengan data, kedua-duanya mempunyai kelemahan utama dan skop aplikasi yang terhad.

Behaviorisme yang diwakili oleh pembelajaran pengukuhan secara menyeluruh menggunakan empat elemen pengetahuan, data, algoritma dan kuasa pengkomputeran untuk mengintegrasikan maklum balas otak manusia, sambungan sisi, pelepasan jarang, mekanisme perhatian, pelbagai mod, ingatan, dll. pengenalan mekanisme itu dijangka dapat mengatasi kelemahan dua generasi pertama kecerdasan buatan dan mendapat aplikasi yang lebih luas.

2. Beberapa mekanisme kerja otak manusia

[Mekanisme Ramalan dan maklum balas]

Otak memerhati dunia dan membina model ingatan melalui satu tempoh kehidupan, otak akan Secara automatik dan separa sedar membandingkan model memori sebelumnya dan meramalkan apa yang akan berlaku seterusnya. Apabila ia mengesan situasi yang tidak konsisten dengan ramalan, ia akan menyebabkan maklum balas daripada otak.

Sebab sel otak dapat menghantar maklumat adalah kerana ia mempunyai tentakel-dendrit dan akson ajaib. Dengan dendrit pendeknya, sel-sel otak boleh menerima maklumat daripada sel-sel otak lain, dan dengan akson panjangnya, sel-sel otak boleh menghantar maklumat ke sel-sel otak lain (seperti yang ditunjukkan dalam rajah di bawah).

Maklumat dihantar secara berterusan antara sel-sel otak, membentuk perasaan dan pemikiran manusia. Keseluruhan otak ialah rangkaian besar sel-sel otak yang saling berkaitan, seperti yang ditunjukkan dalam rajah di bawah:

Dalam bidang pembelajaran mesin, untuk Untuk mendapatkan rangkaian neural buatan sedemikian, pertama sekali, kita mesti menentukan struktur rangkaian saraf, berapa banyak neuron yang terdapat dalam rangkaian, dan bagaimana neuron disambungkan. Seterusnya, anda perlu menentukan fungsi ralat. Fungsi ralat digunakan untuk menilai prestasi rangkaian pada masa ini dan cara sambungan neuron di dalamnya harus dilaraskan untuk mengurangkan ralat. Kekuatan sinaptik menentukan aktiviti saraf, aktiviti saraf menentukan output rangkaian, dan output rangkaian menentukan ralat rangkaian.

Pada masa ini, "back propagation" ialah algoritma latihan rangkaian saraf dalam yang paling biasa digunakan dan berjaya dalam bidang pembelajaran mesin. Rangkaian yang dilatih dengan perambatan belakang menduduki kedudukan utama dalam gelombang pembelajaran mesin baru-baru ini, mencapai hasil yang baik dalam pengecaman pertuturan dan imej, terjemahan bahasa, dsb.

Ia juga menggalakkan kemajuan pembelajaran tanpa pengawasan, yang amat diperlukan dalam penjanaan imej dan pertuturan, pemodelan bahasa dan beberapa tugas ramalan peringkat tinggi. Bekerjasama dengan pembelajaran pengukuhan, backpropagation boleh menyelesaikan banyak masalah kawalan (masalah kawalan) seperti menguasai permainan Atari dan mengalahkan pemain manusia terkemuka dalam Go dan poker.

Algoritma perambatan belakang menghantar isyarat ralat ke dalam sambungan maklum balas untuk membantu rangkaian saraf melaraskan kekuatan sinaptik Ia sangat biasa digunakan dalam bidang pembelajaran yang diselia. Tetapi sambungan maklum balas dalam otak nampaknya mempunyai fungsi yang berbeza, dan kebanyakan pembelajaran otak tidak diawasi. Oleh itu, bolehkah algoritma backpropagation menerangkan mekanisme maklum balas otak? Pada masa ini tiada jawapan yang pasti.

【Sambungan Intrabrain】

Kaedah sambungan khas antara neuron dalam otak manusia merupakan hala tuju penting dalam mengkaji keunikan otak manusia. Pengimejan resonans magnetik adalah alat utama dalam penyelidikan ini Teknik ini boleh menggambarkan gentian panjang yang memanjang dari neuron dan menghubungkan kawasan otak yang berbeza tanpa membuka tengkorak. Sambungan ini bertindak seperti wayar yang membawa isyarat elektrik antara neuron. Bersama-sama, sambungan ini dipanggil connectome, dan ia memberikan petunjuk tentang bagaimana otak memproses maklumat.

Dengan mengandaikan bahawa setiap sel saraf disambungkan kepada semua sel saraf lain, sambungan satu-ke-banyak ini adalah yang paling cekap. Tetapi model ini memerlukan banyak ruang dan tenaga untuk menampung semua sambungan dan mengekalkan operasi biasa mereka, jadi ia pasti tidak boleh dilaksanakan. Mod lain ialah sambungan satu-ke-satu, di mana setiap neuron disambungkan kepada hanya satu neuron lain. Sambungan jenis ini kurang sukar, tetapi ia juga kurang cekap: maklumat mesti melalui sejumlah besar sel saraf seperti batu loncatan untuk pergi dari titik A ke titik B.

"Kehidupan realistik berada di antara satu tempat," kata Yaniv Assaf dari Universiti Tel Aviv, yang menerbitkan tinjauan ke atas sambungan 123 spesies mamalia dalam Nature Neuroscience. Pasukan mendapati bahawa bilangan batu loncatan yang diperlukan untuk mendapatkan maklumat dari satu lokasi ke lokasi lain adalah kira-kira sama dalam otak spesies yang berbeza, dan sambungan yang digunakan adalah serupa. Walau bagaimanapun, terdapat perbezaan dalam cara susun atur sambungan dalam otak direalisasikan antara spesies yang berbeza. Dalam spesies dengan beberapa sambungan jarak jauh antara dua hemisfera, terdapat sambungan yang lebih pendek di setiap hemisfera, dan kawasan otak bersebelahan dalam hemisfera berkomunikasi dengan kerap.

【Memori】

Terdapat berbilion-bilion sel saraf dalam otak manusia, mereka berinteraksi antara satu sama lain melalui sinaps, membentuk hubungan yang sangat kompleks. Ingatan ialah panggilan bersama antara sel saraf otak Sesetengah panggilan bersama adalah jangka pendek, ada yang tahan lama, dan ada yang berada di antaranya.

Terdapat empat bentuk asas interaksi antara neuron otak:

• Pengujaan mudah: Apabila satu neuron teruja, ia merangsang neuron lain yang bersambung.
• Rencatan mudah: Pengujaan satu neuron meningkatkan ambang deria neuron bersambung yang lain.
• Maklum balas positif: Keterujaan satu neuron merangsang keseronokan neuron bersambung yang lain, yang seterusnya secara langsung atau tidak langsung merendahkan ambang pengujaan yang terdahulu, atau memberi suapan kembali isyarat kepada sinaps deria yang terdahulu.
• Maklum balas negatif: Keterujaan satu neuron merangsang keseronokan neuron lain yang bersambung, yang seterusnya secara langsung atau tidak langsung meningkatkan ambang pengujaan yang terdahulu, menyebabkan keseronokan neuron yang terdahulu berkurangan.

Terdapat banyak jenis sel neuron dengan aktiviti berbeza dalam otak manusia, yang masing-masing bertanggungjawab untuk ingatan jangka pendek, jangka sederhana dan jangka panjang.

Sel neuron aktif bertanggungjawab untuk ingatan jangka pendek. Bilangan kecilnya menentukan keupayaan tindak balas jangka pendek seseorang. Apabila jenis sel ini dirangsang oleh isyarat saraf, ambang penderiaannya akan berkurangan buat sementara waktu, tetapi sinapsnya secara amnya tidak membiak, dan penurunan dalam ambang penderiaan hanya boleh bertahan selama beberapa saat hingga minit, dan kemudian kembali ke paras normal.

Sel neuron neutral bertanggungjawab untuk ingatan jangka sederhana, dengan nombor pertengahan, yang menentukan kebolehsuaian pembelajaran seseorang. Apabila sel jenis ini dirangsang oleh jumlah isyarat saraf yang sesuai, percambahan sinaptik akan berlaku Walau bagaimanapun, percambahan sinaptik ini adalah perlahan dan memerlukan pelbagai rangsangan untuk membentuk perubahan yang ketara, dan keadaan percambahan hanya boleh bertahan selama beberapa hari hingga minggu kepada kemerosotan.

Sel neuron yang malas bertanggungjawab untuk ingatan jangka panjang mereka yang lebih besar menentukan keupayaan seseorang untuk mengumpul pengetahuan. Sel jenis ini hanya akan mengalami percambahan sinaptik apabila ia dirangsang oleh sebilangan besar isyarat saraf berulang ini sangat perlahan dan memerlukan banyak rangsangan berulang untuk membentuk perubahan yang ketara, tetapi keadaan percambahan boleh dikekalkan selama beberapa bulan hingga beberapa dekad. , tidak mudah merosot.

Apabila sel neuron otak dirangsang dan teruja, sinapsnya akan membiak atau ambang induksi akan berkurangan Sel-sel neuron otak yang kerap dirangsang dan teruja berulang kali akan mempunyai sinaps yang lebih kecil daripada sel neuron Otak yang lain yang kurang dirangsang dan teruja mempunyai kebolehan menghantar isyarat dan menerima isyarat yang lebih kuat.

Apabila dua sel neuron yang bersebelahan secara sinaps antara satu sama lain dirangsang pada masa yang sama dan menjadi teruja pada masa yang sama, sinaps kedua-dua sel neuron akan membiak pada masa yang sama, supaya sinaps bersebelahan antara mereka Interaksi antara pasangan dipertingkatkan Apabila rangsangan yang disegerakkan ini diulang berkali-kali, interaksi antara pasangan sinaptik bersebelahan dua sel neuron mencapai keamatan tertentu (mencapai atau melebihi ambang tertentu), maka akan berlaku fenomena penyebaran. keseronokan bermakna apabila mana-mana sel neuron dirangsang dan menjadi teruja, ia akan menyebabkan sel neuron lain menjadi teruja, sekali gus membentuk sambungan gema bersama antara sel neuron, iaitu sambungan memori.

Oleh itu, ingatan merujuk kepada kebolehpanggil semula, yang ditentukan oleh kelancaran sambungan antara sel neuron, iaitu kekuatan sambungan antara sel neuron lebih besar daripada ambang induksi, membentuk sambungan yang jelas antara neuron sel Ini adalah sifat ingatan otak.

[Mekanisme Perhatian]

Apabila otak manusia membaca, ia bukanlah proses penyahkodan yang ketat, tetapi hampir dengan proses pengecaman corak. Otak secara automatik akan mengabaikan maklumat berkemungkinan rendah dan bernilai rendah, dan juga secara automatik akan membetulkan kandungan bacaan kepada "versi yang difikirkan oleh otak betul" berdasarkan maklumat kontekstual Ini adalah apa yang dipanggil perhatian otak manusia.

"Mekanisme Perhatian" ialah kaedah pemprosesan data yang menyerupai perhatian otak manusia dalam pembelajaran mesin Ia digunakan secara meluas dalam pelbagai jenis mesin seperti pemprosesan bahasa semula jadi, pengecaman imej dan tugasan Pembelajaran. Contohnya, terjemahan mesin sering menggunakan model "LSTM+attention" LSTM (Long Short Term Memory) ialah aplikasi RNN (Recurrent Neural Network). Ia boleh difahami dengan mudah bahawa setiap neuron mempunyai get input, get output, dan get forget. Gerbang input dan get keluaran menyambungkan neuron LSTM hujung ke hujung, manakala get lupa melemahkan atau melupakan kandungan yang tidak bermakna. "Mekanisme perhatian" digunakan pada gerbang melupakan LSTM, menjadikan bacaan mesin lebih dekat dengan tabiat membaca manusia, dan juga menjadikan hasil terjemahan kontekstual.

【Multimodal Neuron】

Lima belas tahun yang lalu, Quiroga dan yang lain mendapati terdapat neuron multimodal dalam otak manusia. Neuron ini bertindak balas kepada konsep abstrak yang mengelilingi tema peringkat tinggi dan bukannya ciri visual tertentu. Antaranya, yang paling terkenal ialah neuron "Halle Berry", yang hanya bertindak balas kepada foto, lakaran, dan teks pelakon Amerika "Halle Berry." Contoh ini telah digunakan dalam "Scientific American" dan "The New York Times." "[11].

CLIP yang dikeluarkan oleh OpenAI menggunakan neuron berbilang modal untuk mencapai sistem penglihatan umum dengan prestasi yang setanding dengan ResNet-50 Pada beberapa set data yang mencabar, prestasi CLIP melebihi beberapa sistem visual.

Pembelajaran mesin memperkenalkan neuron multi-modal, yang merujuk kepada pemahaman semantik berbilang dimensi yang mendalam tentang data dan maklumat berbilang modal seperti teks, bunyi, gambar, video, dll., termasuk semantik data, semantik pengetahuan , dan semantik visual, integrasi pertuturan-semantik, semantik bahasa semula jadi dan teknologi pemahaman semantik pelbagai segi yang lain. Sebagai contoh, semantik visual boleh membenarkan mesin beralih daripada melihat dengan jelas kepada memahami video dan mengekstrak pengetahuan semantik berstruktur.

3. Komposisi asas sistem pintar

Sistem pemanduan autonomi ialah sistem pintar biasa Piawaian klasifikasi pemanduan autonomi A.S. membahagikan sistem pemanduan autonomi mengikut tahap automasi: <.>

Tahap	Nama	Definisi
L0	Tiada automasi	Pemandu melakukan semua tugas operasi seperti stereng, brek, memecut atau nyahpecutan.
L1	Bantuan Pemandu	Pemandu berada di dalam kenderaan Sistem pemanduan automatik masih mengendalikan semua pecutan, brek dan pemantauan persekitaran sekeliling.
L2	Automasi separa	Sistem pemanduan automatik boleh Membantu stereng atau fungsi pecutan dan membolehkan pemandu dilepaskan daripada beberapa tugas mereka. Pemandu mesti bersedia untuk mengawal kenderaan pada setiap masa dan tetap bertanggungjawab untuk kebanyakan fungsi kritikal keselamatan dan semua pemantauan alam sekitar.
L3	Automasi Bersyarat	Sistem pemanduan automatik kenderaan sendiri Mengawal semua pemantauan persekitaran. Perhatian pemandu masih penting pada tahap ini, tetapi boleh dialihkan daripada fungsi "kritikal keselamatan" seperti brek.
L4	Amat automatik	Sistem pemanduan autonomi kenderaan akan terlebih dahulu pemandu dimaklumkan apabila selamat untuk berbuat demikian sebelum pemandu menukar kenderaan ke mod ini. Ia tidak boleh memutuskan antara situasi pemanduan yang lebih dinamik, seperti kesesakan lalu lintas atau bergabung ke lebuh raya. Sistem kenderaan autonomi mampu mengemudi, membrek, memecut, memantau kenderaan dan jalan raya, dan bertindak balas terhadap kejadian, menentukan masa menukar lorong, membelok dan menggunakan isyarat.
L5	Automatik sepenuhnya	Sistem pemanduan autonomi mengawal segala-galanya kritikal misi, memantau persekitaran dan mengenal pasti keadaan pemanduan yang unik, seperti kesesakan lalu lintas, tanpa memerlukan perhatian pemandu.

Kita dapat melihat daripada klasifikasi sistem pemanduan autonomi kenderaan bahawa tahap L0 sistem pintar adalah sepenuhnya membuat keputusan manusia, tahap L1~L2 ialah tempat mesin melakukan pengumpulan dan analisis data berdasarkan jumlah data penuh, dan manusia membuat inferens, pertimbangan dan keputusan, iaitu apa yang dipanggil mod Drive data, L3~L4 ialah mesin yang melakukan pengisihan data, analisis, penaakulan logik, pertimbangan dan membuat keputusan berdasarkan semua data, tetapi memerlukan campur tangan manusia di masa yang sesuai L5 adalah mesin pintar sepenuhnya tanpa campur tangan manusia, yang dipanggil mod pemanduan pintar.

Untuk mesin menjadi pintar, iaitu, untuk mesin menjadi sistem pintar, ia mesti mempunyai sekurang-kurangnya komponen yang ditunjukkan dalam rajah di bawah: persepsi, kognisi, pemahaman, membuat keputusan dan tindakan .

Fungsi komponen penderiaan adalah untuk memantau dan mengumpul data daripada persekitaran, dan output adalah data. Intipatinya adalah untuk mendigitalkan ruang fizikal dan memetakan sepenuhnya ruang fizikal ke ruang data.

Peranan komponen kognitif adalah untuk menyusun dan meringkaskan data serta mengekstrak maklumat yang berguna.

Fungsi komponen pemahaman adalah untuk memperhalusi dan meringkaskan maklumat yang diekstrak untuk mendapatkan pengetahuan. Pengetahuan yang difahami oleh manusia dinyatakan dalam bahasa semula jadi, dan untuk mesin, ia dinyatakan dalam "model" yang dilatih pada set data yang mewakili ruang masalah.

Peranan komponen pembuat keputusan adalah untuk menjalankan penaakulan dan pertimbangan berdasarkan pengetahuan. Untuk mesin, ia adalah untuk menggunakan model terlatih untuk melakukan penaakulan dan pertimbangan dalam ruang data baharu dan menjana strategi untuk tugas sasaran.

Peranan komponen tindakan adalah untuk berinteraksi dengan persekitaran berdasarkan strategi dan memberi kesan kepada alam sekitar.

Fungsi komponen maklum balas adalah untuk membentuk maklum balas selepas tindakan bertindak ke atas persekitaran, dan maklum balas menggalakkan sistem persepsi untuk melihat lebih banyak data, dengan itu secara berterusan memperoleh lebih banyak pengetahuan, membuat keputusan yang lebih baik mengenai tugas sasaran, dan membentuk evolusi Lelaran berterusan gelung tertutup.

4 Keselamatan pintar

Gabungan kecerdasan buatan dan keselamatan rangkaian sentiasa mempunyai dua dimensi, empat kuadran [9]: secara menegak, satu hujung adalah untuk menyediakan keselamatan kepada kecerdasan, dan hujung yang lain adalah untuk menyediakan keselamatan Dengan kecerdasan secara mendatar, satu hujung adalah perspektif serangan dan hujung yang lain adalah perspektif pertahanan. Seperti yang ditunjukkan dalam rajah di bawah, empat kuadran mewakili empat fungsi gabungan kedua-duanya:

Keselamatan diri pintar termasuk pengenalan teknologi pintar itu sendiri yang boleh dieksploitasi Isu kelemahan dan keselamatan yang diperkenalkan oleh kelemahan teknologi pintar itu sendiri. Terutamanya termasuk keselamatan perniagaan, keselamatan model algoritma, keselamatan data, keselamatan platform, dll. menggunakan kecerdasan buatan.

Isu keselamatan model algoritma terutamanya termasuk ancaman integriti latihan model, ancaman integriti ujian, kekurangan keteguhan model, ancaman berat sebelah model, dll., seperti serangan pintasan (memanipulasi keputusan dan keputusan model melalui sampel lawan ), serangan keracunan (menyuntik data berniat jahat untuk mengurangkan kebolehpercayaan dan ketepatan model), serangan inferens (menyimpul sama ada data khusus digunakan untuk latihan model), serangan pengekstrakan model (mendedahkan butiran algoritma melalui perintah pertanyaan berniat jahat), serangan pembalikan model (melalui output Input inferens data data), serangan pengaturcaraan semula (menukar model AI untuk tujuan yang menyalahi undang-undang), serangan inferens atribusi, serangan Trojan, serangan pintu belakang, dsb. Keselamatan data terutamanya termasuk kebocoran data berdasarkan output model dan kebocoran data berdasarkan kemas kini kecerunan keselamatan platform termasuk isu keselamatan peranti perkakasan dan isu keselamatan sistem dan perisian.

Teknologi pertahanan untuk isu ketidakselamatan kecerdasan buatan ini terutamanya termasuk peningkatan keselamatan diri model algoritma, keselamatan data AI dan pertahanan kebocoran privasi, dan pertahanan keselamatan sistem AI. Teknologi peningkatan keselamatan diri model algoritma termasuk latihan pertahanan berorientasikan data (seperti latihan lawan, penyembunyian kecerunan, kebolehpindahan menyekat, pemampatan data, rawak data, dll.), pertahanan berorientasikan model (seperti regularisasi, penyulingan defensif, kesesakan ciri, dsb.) pemampatan, rangkaian pengecutan dalam, pertahanan menyembunyikan, dsb.), pertahanan khusus, peningkatan keteguhan, peningkatan kebolehtafsiran, dsb. teknologi pertahanan keselamatan data AI dan kebocoran privasi terutamanya termasuk pertahanan struktur model, pertahanan kekeliruan maklumat, pertahanan kawalan pertanyaan, dll.

Memberi keselamatan kepada perisikan merujuk kepada kelemahan baharu yang ditimbulkan oleh teknologi perisikan itu sendiri, yang boleh dieksploitasi oleh penyerang dan mungkin memperkenalkan risiko keselamatan baharu untuk pembela.

Berikan risikan keselamatan, yang bermaksud bahawa penyerang boleh menggunakan teknologi pintar untuk melakukan serangan, dan pembela boleh menggunakan teknologi pintar untuk meningkatkan keupayaan perlindungan keselamatan. Terutamanya dicerminkan dalam automasi tindak balas keselamatan dan autonomi membuat keputusan keselamatan. Pada masa ini terdapat dua kaedah arus perdana untuk meningkatkan automasi tindak balas keselamatan:

• SOAR, Security Orchestration, Automation and Response, orkestrasi keselamatan, automasi dan tindak balas
• OODA, Observe-Orient-Decide -Act, observe-adjust-decision-action, IACD (Integrated Adaptive Cyber ​​​​Defense Framework) adalah berdasarkan OODA sebagai rangka kerja.

Rajah berikut ialah rajah skematik aliran kerja tindak balas automatik berpusat SOAR:

Pada tahun 1994, saintis kognitif Steven Pinker menulis dalam "The Language Instinct" bahawa "untuk kecerdasan buatan, masalah sukar mudah diselesaikan. Masalah mudah sukar untuk diselesaikan. selesaikan." "Masalah kompleks mudah" bermaksud ruang masalah ditutup, tetapi masalah itu sendiri mempunyai kerumitan yang tinggi Contohnya, bermain Go adalah masalah kompleks yang mudah. "Masalah mudah kompleks" bermakna ruang masalah terbuka tanpa had, tetapi masalah itu sendiri tidak begitu kompleks.

Contohnya, isu keselamatan rangkaian adalah isu yang rumit dan mudah Kerana teknologi dan kaedah serangan keselamatan berubah sepanjang masa, adalah mustahil untuk menyenaraikannya secara menyeluruh , selalunya terdapat kesan Pekeliling.

Teknologi pintar hari ini selalunya lebih kuat daripada manusia dalam bidang "masalah kompleks mudah", tetapi untuk "masalah mudah kompleks", kecerdasan buatan sering gagal disebabkan oleh letupan angkasa lepas yang disebabkan oleh sempadan generalisasi.

Malangnya, masalah keselamatan siber ialah masalah mudah yang kompleks, dan aplikasi kecerdasan buatan dalam ruang masalah keselamatan siber menghadapi cabaran. Terutamanya Moravec Paradox (fenomena yang ditemui oleh pakar kecerdasan buatan dan robotik yang bertentangan dengan akal sehat.

Tidak seperti andaian tradisional, kebolehan kecerdasan aras tinggi yang unik manusia hanya memerlukan kebolehan Pengiraan yang sangat sedikit, seperti penaakulan, tetapi kemahiran dan gerak hati tidak sedarkan diri memerlukan banyak kuasa pengkomputeran) lebih jelas dalam bidang keselamatan siber.

Aplikasi teknologi kecerdasan buatan pada keselamatan rangkaian mempunyai cabaran berikut: ruang masalah tidak ditutup, ruang sampel tidak simetri, keputusan inferens sama ada tidak tepat atau tidak boleh ditafsirkan, keupayaan generalisasi model menurun dan integrasi pemikiran merentas domain cabaran.

1. Ruang masalah tidak ditutup

Seperti yang ditunjukkan dalam rajah di atas, ruang masalah keselamatan rangkaian termasuk diketahui dan tidak diketahui. Yang diketahui termasuk yang diketahui diketahui, seperti kelemahan yang diketahui, dan yang tidak diketahui diketahui, seperti kelemahan keselamatan yang diketahui dan terdedah yang belum ditemui tidak diketahui termasuk yang diketahui tidak diketahui, seperti sistem perisian yang mesti Terdapat kelemahan keselamatan tertentu; tidak diketahui tidak diketahui, seperti tidak mengetahui risiko atau ancaman yang akan berlaku.

2. Contoh asimetri ruang

Yang tidak diketahui adalah dilema yang tidak dapat dielakkan dalam keselamatan rangkaian, yang menjadikan ruang masalah keselamatan rangkaian tidak ditutup, yang membawa kepada data negatif (seperti data serangan, risiko data dan lain-lain) membawa kepada asimetri ruang ciri, yang seterusnya membawa kepada ketidakupayaan ruang ciri untuk benar-benar mewakili ruang masalah. Model ialah hipotesis tentang dunia dalam ruang data sedia ada dan digunakan untuk membuat inferens dalam ruang data baharu. Teknologi kecerdasan buatan hari ini boleh menyelesaikan hubungan kompleks tak linear antara input dan output, tetapi ia adalah asimetri serius untuk ruang masalah di mana ruang sampel agak terbuka.

3. Ketidakbolehtafsiran keputusan penaakulan

Aplikasi kecerdasan buatan bertujuan untuk mengeluarkan pertimbangan membuat keputusan. Kebolehjelasan merujuk kepada sejauh mana manusia dapat memahami sebab-sebab membuat keputusan. Lebih mudah dijelaskan model AI, lebih mudah untuk orang ramai memahami sebab keputusan atau ramalan tertentu dibuat. Kebolehtafsiran model merujuk kepada pemahaman mekanisme dalaman model dan pemahaman hasil model. Dalam fasa pemodelan, ia membantu pembangun dalam memahami model, membandingkan dan memilih model, dan mengoptimumkan dan melaraskan model jika perlu dalam fasa operasi, ia menerangkan mekanisme dalaman model kepada pembuat keputusan dan menerangkan keputusan model .

Dalam peringkat pemodelan, teknologi kecerdasan buatan mempunyai percanggahan antara ketepatan keputusan dan kebolehtafsiran keputusan. Sudah tentu, sudah ada cara untuk menggabungkan kedua-duanya, untuk mencapai keseimbangan antara keduanya pada tahap tertentu.

Dalam peringkat operasi, terangkan mekanisme dalaman model dan tafsiran keputusan membuat keputusan kepada pembuat keputusan, yang melibatkan dilema etika dalam privasi data, keselamatan model, dsb.

4. Penurunan dalam keupayaan generalisasi

Pada tahun 1960-an, model keselamatan Bell-LaPadula menegaskan bahawa "hanya jika sistem bermula dalam keadaan selamat, dan Ia tidak akan jatuh ke dalam keadaan tidak selamat. negeri, ia akan selamat."

Teknologi kecerdasan buatan menggunakan model untuk mewakili ruang masalah, tetapi oleh kerana intipati keselamatan adalah konfrontasi antara sumber dan kecerdasan, ruang masalah keselamatan tidak pernah ditutup Model yang berprestasi baik pada set latihan tidak sesuai untuk skala besar Dalam persekitaran sebenar, akan ada konfrontasi berterusan sebaik sahaja ia masuk dalam talian, dan kemudian ia akan terus jatuh ke dalam keadaan gagal, dan keupayaan generalisasi model akan menurun.

5. Model Autonomi Keselamatan Pintar

Pengetahuan dan penaakulan adalah asas kecerdasan manusia Untuk merealisasikan penaakulan dan membuat keputusan, komputer perlu menyelesaikan tiga masalah: perwakilan pengetahuan dan bentuk penaakulan, ketidakpastian. Perwakilan dan penaakulan pengetahuan seksual, perwakilan akal dan penaakulan.

Main kad ialah permainan maklumat yang tidak lengkap dan bermain kad dengan komputer adalah lebih sukar daripada bermain catur. Pada 2017, kecerdasan buatan mengalahkan manusia dalam poker Texas Hold'em tanpa had 6 pemain. Permainan kad adalah masalah kebarangkalian dan deterministik, dan persekitaran sebenar benar-benar tidak menentu malah persekitaran konfrontasi Oleh itu, membuat keputusan autonomi dalam persekitaran yang kompleks adalah sangat mencabar.

Cabaran dalam membuat keputusan secara autonomi dalam senario lawan terutamanya datang dari dua aspek: dinamik persekitaran dan kerumitan tugas. Dinamik persekitaran termasuk keadaan yang tidak menentu, maklumat yang tidak lengkap, perubahan dinamik dalam situasi, dan permainan masa nyata kerumitan tugas termasuk pengumpulan maklumat, kesalahan, pertahanan, peninjauan, gangguan, dsb.

Pengambilan keputusan secara autonomi dalam senario konfrontasi biasanya menggunakan akal fikiran dan potongan logik untuk menggantikan maklumat yang tidak lengkap, dan kemudian menjana rancangan dengan menyepadukan pengetahuan domain manusia dan hasil pembelajaran pengukuhan untuk membantu dalam membuat keputusan yang betul.

Pembuatan keputusan autonomi dalam persekitaran yang kompleks juga perlu menyelesaikan masalah cara menyesuaikan diri dengan perubahan persekitaran dan membuat perubahan membuat keputusan sewajarnya. Contohnya, pemanduan autonomi boleh membina model selepas mengenal pasti objek dan membuat perancangan pemanduan masa nyata berdasarkan ini, tetapi sukar untuk menangani kecemasan. Oleh itu, pemanduan autonomi juga memerlukan pengetahuan dan pengalaman memandu, dan pengetahuan pengalaman ini perlu dipelajari dalam proses interaksi berterusan dengan persekitaran, iaitu pembelajaran pengukuhan.

Oleh itu, keupayaan autonomi membuat keputusan bagi pengesanan ancaman dan perlindungan sistem keselamatan yang diperkasakan dengan bijak adalah salah satu petunjuk utama untuk mengukur kecerdasannya. Merujuk kepada klasifikasi sistem pemanduan autonomi, model autonomi keselamatan pintar boleh dibina.

Tahap	Nama	Definisi
L0	Tiada autonomi	Langkah balas pertahanan bergantung sepenuhnya pada usaha manual oleh pakar keselamatan.
L1	Bantuan pakar keselamatan	Sistem perlindungan mempunyai telah selesai Pengesanan dan pertahanan serangan dan ancaman yang diketahui, pengoptimuman kadar ketepatan, kadar negatif palsu dan kadar positif palsu, analisis ancaman dan pengesanan sumber, dsb. perlu dilakukan secara manual oleh pakar keselamatan.
L2	Sebahagiannya autonomi	Sistem perlindungan mengesan dan melindungi serangan dan ancaman yang diketahui, dan juga boleh melihat ancaman yang tidak diketahui, tetapi ia memerlukan pakar keselamatan untuk mengoptimumkan kadar ketepatan, kadar negatif palsu dan kadar positif palsu, analisis ancaman dan kebolehkesanan , dsb. Dilakukan secara manual.
L3	Autonomi Bersyarat	Sistem perlindungan telah dijalankan Pengesanan dan perlindungan terhadap serangan dan ancaman yang diketahui dan tidak diketahui juga boleh terus mengoptimumkan kadar ketepatan, kadar negatif palsu, dan kadar positif palsu untuk menentang pembelajaran dan peningkatan bebas Walau bagaimanapun, analisis ancaman, pengesanan sumber, tindak balas, dsb dilakukan secara manual oleh pakar keselamatan.
L4	Amat berautonomi	Sistem perlindungan melengkapkan semua Dalam pengesanan, pembuatan keputusan, perlindungan, analisis dan pengesanan sumber serangan dan ancaman, pakar keselamatan campur tangan dan bertindak balas terhadap sejumlah kecil dalam proses itu.
L5	Sepenuhnya autonomi	Sistem perlindungan selesai secara autonomi Pengesanan, membuat keputusan, perlindungan, analisis dan pengesanan sumber semua serangan dan ancaman tidak memerlukan campur tangan dan tindak balas pakar keselamatan.

Atas ialah kandungan terperinci Pemikiran tentang keselamatan rangkaian AI yang dibawa oleh populariti ChatGPT. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!