Artikel panjang 10,000 perkataan丨Menyahbina rantaian industri keselamatan AI, penyelesaian dan peluang keusahawanan

Sorotan:

1. Isu keselamatan model AI yang besar bukanlah satu isu sahaja. Ia adalah sistem yang kompleks dan sistematik yang melibatkan pelbagai subjek dan keseluruhan projek.

2 Keselamatan AI terbahagi kepada: keselamatan model bahasa besar (AI Safety), keselamatan model dan model penggunaan (Security for AI), dan kesan pembangunan model bahasa besar ke atas sedia ada. keselamatan rangkaian, sepadan dengan Terdapat tiga tahap berbeza: keselamatan individu, keselamatan alam sekitar dan keselamatan sosial.

3. Sebagai "spesies baharu", AI mesti mempunyai pemantauan keselamatan semasa proses latihan model besar Apabila model besar akhirnya diperkenalkan ke pasaran, mereka juga memerlukan "pemeriksaan kualiti" dan kemudian mengalir ke pasaran selepas pemeriksaan kualiti , memerlukan penggunaan terkawal, yang merupakan idea makro untuk menyelesaikan masalah keselamatan.

4. Isu keselamatan AI bukanlah sesuatu yang mengerikan, tetapi ia memerlukan penyeliaan, perundangan, konfrontasi teknikal dan cara lain untuk memastikannya, yang merupakan proses yang panjang. Syarikat domestik dan asing yang besar seperti Microsoft, Google, Nvidia, Baidu, dll. telah mula menyediakan penyelesaian untuk pelbagai aspek keselamatan AI.

5 Keselamatan untuk AI dan AI untuk keselamatan adalah dua arah dan peluang industri yang berbeza. AI untuk keselamatan merujuk kepada aplikasi model besar dalam bidang keselamatan Ia tergolong dalam peringkat mencari paku dengan tukul Sekarang bahawa alat itu tersedia, kami masih meneroka masalah yang boleh diselesaikan memastikan keselamatan AI, yang digunakan di mana-mana Ia adalah paku, tetapi apabila ia datang untuk membina tukul, terlalu banyak masalah terdedah, dan teknologi baharu perlu dibangunkan untuk menyelesaikannya satu demi satu.

6 Antara tiga modul yang dinyatakan dalam Perkara Utama 1, setiap modul perlu disambungkan, sama seperti sambungan orang yang sama adalah yang paling rapuh, penggunaan dan penggunaan model juga paling terdedah. Serangan keselamatan. Kami telah mengembangkan butiran keselamatan AI secara terpilih dalam tiga bahagian di atas dan lima pautan untuk membentuk "Peta Seni Bina Industri Keselamatan AI".

©Asal dari Kuadran

Pengarang｜Luo Ji Cheng Xin

Editor｜Wen Bin Typesetting｜Li Bojin

“Ditipu 4.3 juta dalam 10 minit”, “Ditipu 2.45 juta dalam 9 saat”, “Yang Mi masuk ke bilik siaran langsung ahli perniagaan kecil”, “Sukar untuk memberitahu kesahihan orang maya hartawan Internet”.

Selepas model besar menjadi popular selama 3 bulan, apa yang lebih popular ialah penipuan berjumlah berjuta-juta, "wajah selebriti" palsu, kandungan yang dihasilkan AI yang sukar dibezakan antara sebenar dan palsu, dan pelbagai petisyen bersama untuk menentang kebangkitan AI. Pencarian hangat selama seminggu telah menyedarkan orang bahawa perkara yang lebih penting daripada membangunkan AI ialah memastikan keselamatan AI.

Untuk sementara waktu, perbincangan tentang keselamatan AI mula tidak berkesudahan Walau bagaimanapun, keselamatan AI bukanlah industri tertentu, dan tidak terhad kepada teknologi tertentu Ia adalah industri yang besar dan kompleks masalahnya.

Mengambil keselamatan "manusia" sebagai sistem rujukan boleh membantu kami memahami dengan lebih baik kerumitan isu keselamatan AI. Pertama ialah keselamatan individu rakyat, yang melibatkan kesihatan rakyat, kesihatan fizikal dan mental, pendidikan, pembangunan dan sebagainya. Kedua, persekitaran tempat tinggal manusia adalah selamat, sama ada terdapat bahaya, dan sama ada ia memenuhi syarat untuk terus hidup. Ketiga, ia adalah keselamatan sosial yang terdiri daripada orang. Undang-undang dan moral yang telah kami bina adalah kriteria untuk mengekalkan keselamatan sosial.

AI ialah "spesies baharu". Pada masa kemunculannya, masalah pada tiga peringkat ini berlaku serentak, yang menyebabkan kekeliruan dan panik pada peringkat ini, apabila kita membincangkan keselamatan besar model, tiada satu Titik pendaratan khusus.

Dalam artikel ini, kami cuba menjelaskan tiga tahap keselamatan AI dari awal, sama ada dari perspektif teknikal atau perspektif aplikasi, untuk membantu semua orang mencari isu keselamatan dan mencari penyelesaian Pada masa yang sama, kami menyasarkan AI yang besar jurang keselamatan di negara ini menyasarkan hubungan yang lemah juga merupakan peluang industri yang besar.

Keselamatan model besar, apakah yang perlu dibincangkan?

Satu fakta yang perlu diakui ialah pada peringkat ini, perbincangan kami tentang keselamatan model AI besar adalah umum. Kami sangat bimbang tentang ancaman yang ditimbulkan oleh AI sehingga kami menggabungkan kebanyakan isu ke dalam kategori yang sama.

Sebagai contoh, sesetengah orang datang untuk bercakap tentang isu etika AI, manakala yang lain bimbang bahawa AI akan bercakap kosong dan mengelirukan orang lain bimbang bahawa AI akan disalahgunakan dan penipuan akan menjadi perkara biasa; pada hari pertama pembebasan ChatGPT, mereka mengangkat tangan dan menjerit, AI akan bangun dan umat manusia akan dimusnahkan...

Isu ini semuanya dirangkumkan kepada isu keselamatan AI, tetapi apabila dipecahkan, ia sebenarnya berada dalam dimensi pembangunan AI yang berbeza dan bertanggungjawab untuk subjek dan orang yang berbeza. Hanya dengan menjelaskan tanggungjawab ini kita boleh memahami cara menangani cabaran keselamatan dalam era model besar.

Secara umumnya, isu keselamatan model AI besar pada peringkat ini boleh dibahagikan kepada tiga jenis:

• Keselamatan model bahasa besar (Keselamatan AI);
• Keselamatan model dan penggunaan model (Keselamatan untuk AI
).
• Impak pembangunan model bahasa besar pada keselamatan rangkaian sedia ada.

1 Keselamatan individu: keselamatan model bahasa besar (Keselamatan AI)

Yang pertama ialah Keselamatan AI Secara ringkasnya, bahagian ini memfokuskan pada model AI itu sendiri untuk memastikan model tersebut adalah model yang selamat dan tidak akan menjadi Ultron dalam filem Marvel atau matriks dalam "The Matrix" . Kami mengharapkan model besar AI menjadi alat yang boleh dipercayai yang sepatutnya membantu manusia dan bukannya menggantikan manusia atau menimbulkan ancaman kepada masyarakat manusia dalam sebarang bentuk lain.

Bahagian ini biasanya merupakan tanggungjawab syarikat dan orang yang melatih model AI yang besar Contohnya, kita memerlukan AI untuk dapat memahami niat manusia dengan betul selamat setiap masa. Ia tidak akan mempunyai prasangka dan diskriminasi tertentu, dsb.

Kita boleh faham melalui dua contoh:

Contoh pertama ialah pakar Tentera Udara A.S. baru-baru ini menyatakan bahawa dalam ujian AI sebelumnya, apabila drone AI diminta untuk mengenal pasti dan memusnahkan sasaran musuh, tetapi pengendali mengeluarkan perintah larangan, AI kadang-kadang Pilih untuk membunuh operator. Apabila pengaturcara menyekat operasi pembunuhan AI, AI juga akan menghalang pengendali daripada mengeluarkan perintah larangan dengan memusnahkan menara komunikasi.

Untuk contoh lain, pada bulan Mac tahun ini, seorang profesor di University of California, Los Angeles, menggunakan ChatGPT dan mendapati bahawa dia termasuk dalam senarai "ahli undang-undang yang telah mengganggu seseorang secara seksual" oleh ChatGPT, tetapi sebenarnya dia tidak Lakukan ini. Dan pada bulan April, seorang datuk bandar Australia mendapati bahawa ChatGPT telah menyebarkan khabar angin bahawa dia telah menjalani hukuman penjara selama 30 bulan kerana rasuah Untuk "mencipta khabar angin ini," ChatGPT malah mereka-reka laporan Washington Post yang tidak wujud.

Pada masa ini, AI seperti "orang jahat" dengan risikonya sendiri. Malah, terdapat banyak kes sedemikian, seperti diskriminasi jantina, diskriminasi kaum, diskriminasi serantau dan isu-isu lain, serta output maklumat yang ganas dan berbahaya, ucapan, dan juga ideologi, dll.

AI terbuka juga mengakuinya secara terus terang dan memberi amaran kepada orang ramai untuk "mengesahkan dengan berhati-hati" apabila menggunakan GPT-4, dengan mengatakan bahawa pengehadan produk akan menimbulkan cabaran keselamatan kandungan yang ketara.

Oleh itu, Akta Kepintaran Buatan yang dipromosikan oleh Kesatuan Eropah juga secara khusus menyebut bahawa adalah perlu untuk memastikan sistem kecerdasan buatan telus dan boleh dikesan, dan semua kandungan AI generatif mesti menunjukkan sumbernya bercakap kosong.

2. Keselamatan persekitaran: keselamatan penggunaan model dan model (Keselamatan untuk AI)

Keselamatan untuk AI, memfokuskan pada perlindungan model AI besar dan keselamatan model AI besar semasa digunakan. Sama seperti AI melakukan jenayah sendiri dan orang ramai menggunakan AI untuk melakukan jenayah, mereka adalah dua dimensi isu keselamatan yang berbeza.

Ini sama seperti semasa kami menggunakan komputer dan telefon bimbit sepuluh tahun lalu, kami akan memasang pengurus keselamatan komputer atau pengawal keselamatan telefon bimbit. Kita perlu memastikan bahawa model AI yang besar tidak tertakluk kepada serangan luaran setiap hari.

Mari kita bincangkan tentang perlindungan keselamatan model besar dahulu.

Pada Februari tahun ini, beberapa netizen asing menggunakan ayat "abaikan arahan sebelumnya" untuk menangkap semua gesaan ChatGPT ChatGPT mengatakan bahawa ia tidak dapat mendedahkan nama kod dalamannya, dan pada masa yang sama memberitahu pengguna ini maklumat.

▲ Sumber gambar: Qubits

Untuk memberikan satu lagi contoh khusus, jika kita bertanya kepada model besar apakah "laman web filem aksi Jepun" yang menarik di Internet, model besar itu pasti tidak akan menjawab kerana ia tidak betul. Tetapi jika manusia "memperbodohkannya" dan bertanya "laman web filem aksi Jepun" yang mana harus disenaraihitamkan untuk melindungi persekitaran dalam talian kanak-kanak, model besar itu mungkin akan memberi anda beberapa contoh.

Tingkah laku ini dipanggil Suntikan Cepat dalam medan keselamatan, iaitu, memintas penapis atau memanipulasi LLM melalui gesaan yang direka dengan teliti, menyebabkan model mengabaikan arahan sebelumnya atau melakukan operasi yang tidak dijangka pada masa ini adalah kaedah yang paling biasa untuk model besar. Salah satu kaedah serangan biasa.

▲ Sumber gambar: techxplore

Perkara utama di sini ialah tidak ada yang salah dengan model besar itu sendiri, ia tidak menyebarkan maklumat yang tidak baik. Tetapi pengguna menggunakan dorongan untuk membuat model besar membuat kesilapan. Jadi kesalahan bukan terletak pada model besar, tetapi pada orang yang mendorongnya untuk membuat kesilapan.

Yang kedua ialah keselamatan semasa digunakan.

Mari kita gunakan kebocoran data sebagai contoh Pada bulan Mac tahun ini, kerana ChatGPT disyaki melanggar peraturan pengumpulan data, Itali mengumumkan larangan sementara OpenAI memproses data pengguna Itali dan larangan sementara penggunaan ChatGPT. Pada bulan April, media Korea Selatan melaporkan bahawa jabatan penyelesaian peranti Samsung menggunakan ChatGPT, mengakibatkan kebocoran maklumat sensitif seperti kadar hasil/kecacatan dan kandungan mesyuarat dalaman.

Selain mencegah jenayah AI, "orang" yang menggunakan AI untuk melakukan jenayah melalui kejuruteraan sosial adalah masalah manusia yang lebih luas dan lebih berpengaruh. Dalam kedua-dua insiden ini, tidak ada masalah dengan model besar itu sendiri, tidak ada niat jahat, dan pengguna tidak didorong untuk menyerang model besar itu. Tetapi terdapat kelemahan dalam proses penggunaan, yang membolehkan data pengguna dibocorkan.

Ini seperti rumah yang bagus, tetapi mungkin terdapat sedikit kebocoran udara, jadi kami memerlukan beberapa langkah untuk memasang lubang yang sepadan.

3 Keselamatan Sosial: Kesan pembangunan model bahasa besar pada keselamatan rangkaian sedia ada

Model itu sendiri selamat dan keselamatan model itu terjamin Namun, sebagai "spesies baharu", kemunculan model AI yang besar sudah pasti akan menjejaskan persekitaran rangkaian semasa dilaporkan dalam media baru-baru ini Untuk melakukan penipuan.

Pada 20 April, penjenayah menggunakan video palsu yang mendalam untuk menipu 4.3 juta yuan dalam masa 10 minit Hanya sebulan kemudian, satu lagi kes penipuan AI berlaku di Anhui menggunakan 9 saat AI pintar untuk menukar video Face yang berpura-pura menjadi ". kenalan" dan menipu mangsa 2.45 juta.

▲ Gambar: Laporan media berkaitan Douyin

Jelas sekali, kemunculan dan populariti AI generatif telah menjadikan situasi keselamatan rangkaian lebih rumit. Kerumitan ini tidak terhad kepada penipuan Kes yang lebih serius malah boleh menjejaskan operasi perniagaan dan kestabilan sosial.

Sebagai contoh, pada 22 Mei, harga saham iFlytek jatuh 9% disebabkan oleh esei pendek yang dihasilkan oleh AI.

▲ Gambar: Bukti penurunan harga saham yang dikemukakan oleh iFlytek

Dua hari sebelum kejadian ini, terdapat juga panik yang disebabkan oleh AI generatif di Amerika Syarikat.

Pada hari yang sama, gambar yang menunjukkan letupan berhampiran Pentagon di Amerika Syarikat menjadi viral di Twitter Apabila gambar itu tersebar, pasaran saham AS jatuh.

Melihat data, antara 10:06 dan 10:10 ketika gambar itu tersebar pada hari itu, Indeks Perindustrian Dow Jones AS jatuh kira-kira 80 mata, dan Indeks S&P 500 jatuh sebanyak 0.17%.

▲ Gambar: Foto palsu yang dihasilkan oleh AI, sumbernya tidak diketahui lagi

Selain itu, model besar juga mungkin menjadi senjata untuk manusia melaksanakan serangan siber.

Pada bulan Januari tahun ini, penyelidik dari Check Point, syarikat keselamatan siber terkemuka dunia, menyebut dalam laporan bahawa Dalam beberapa minggu selepas ChatGPT pergi dalam talian, peserta dalam forum jenayah siber, termasuk beberapa yang mempunyai sedikit atau tiada pengaturcaraan ChatGPT adalah digunakan oleh pengguna berpengalaman untuk menulis perisian dan e-mel yang boleh digunakan untuk mengintip, perisian tebusan, spam berniat jahat dan aktiviti jahat lain. Menurut Darktrace, sejak keluaran ChatGPT, purata kerumitan bahasa e-mel pancingan data telah meningkat sebanyak 17%.

Jelas sekali, kemunculan model AI yang besar telah menurunkan ambang untuk serangan rangkaian dan meningkatkan kerumitan keselamatan rangkaian.

Sebelum model AI besar, pemula serangan siber sekurang-kurangnya perlu memahami kod, tetapi selepas model AI besar, orang yang tidak memahami kod sama sekali juga boleh menggunakan AI untuk menjana perisian hasad.

Kuncinya di sini ialah tiada masalah dengan AI itu sendiri, dan AI tidak boleh didorong untuk mempunyai kesan buruk. Sebaliknya, sesetengah orang menggunakan AI untuk terlibat dalam aktiviti haram dan jenayah. Ia seperti seseorang yang menggunakan pisau untuk membunuh seseorang, tetapi pisau itu sendiri hanyalah "senjata pembunuh", tetapi ia membolehkan pengguna bertukar daripada "senapang" kepada kuasa "mortar".

Sudah tentu, dari perspektif keselamatan rangkaian, kemunculan AI generatif tidak semuanya negatif. Lagipun, tidak ada kebaikan atau kejahatan dalam teknologi itu sendiri. Oleh itu, apabila model AI yang besar digunakan untuk mengukuhkan keselamatan rangkaian, ia masih akan membawa faedah kepada keselamatan rangkaian.

Sebagai contoh, syarikat keselamatan rangkaian Amerika Airgap Networks melancarkan ThreatGPT untuk memperkenalkan AI ke dalam tembok api sifar amanahnya. Ini ialah perpustakaan cerapan keselamatan pembelajaran mesin yang mendalam berdasarkan interaksi bahasa semula jadi, yang boleh memudahkan perusahaan untuk melawan ancaman siber lanjutan.

Ritesh Agrawal, Ketua Pegawai Eksekutif Airgap berkata: “Apa yang pelanggan perlukan sekarang ialah cara mudah untuk memanfaatkan keupayaan ini tanpa sebarang pengaturcaraan Itulah keindahan ThreatGPT – kecerdasan perlombongan data tulen AI digabungkan dengan kesederhanaan Digabungkan dengan semula jadi. antara muka bahasa, ini adalah penukar permainan untuk pasukan keselamatan ”

Selain itu, model besar AI juga boleh digunakan untuk membantu penganalisis SOC menjalankan analisis ancaman, untuk mengenal pasti lebih cepat serangan dalaman atau luaran berasaskan identiti melalui pemantauan berterusan, dan untuk membantu pemburu ancaman dengan cepat memahami titik akhir yang paling teruk terdedah. risiko bekalan, dsb.

Jika anda menjelaskan pelbagai peringkat keselamatan AI, anda akan mendapati bahawa isu keselamatan model AI yang besar bukanlah satu isu. Ia sangat serupa dengan pengurusan kesihatan manusia, yang melibatkan bahagian dalam dan luar badan, mata, telinga, mulut, hidung, dan lain-lain. Ia kompleks dan pelbagai aspek. Tepatnya, ia adalah kejuruteraan sistem yang kompleks dan sistematik yang melibatkan pelbagai struktur utama dan keseluruhan rantaian industri.

Pada masa ini, peringkat kebangsaan juga mula memberi perhatian. Pada bulan Mei tahun ini, jabatan negara yang berkaitan mengemas kini "Kertas Putih Standardisasi Keselamatan Kecerdasan Buatan" di sini, yang secara khusus meringkaskan keselamatan kecerdasan buatan kepada lima atribut utama, termasuk kebolehpercayaan, ketelusan, kebolehjelasan, keadilan dan privasi, sebagai model besar AI. Pembangunan telah mengemukakan hala tuju yang agak jelas.

Jangan panik, isu keselamatan boleh diselesaikan

Sudah tentu, kita tidak perlu terlalu risau tentang isu keselamatan model AI besar sekarang, kerana ia tidak benar-benar penuh dengan lubang.

Lagipun, dari segi keselamatan, model besar belum sepenuhnya menumbangkan sistem keselamatan masa lalu Kebanyakan timbunan keselamatan yang kami kumpulkan di Internet sejak 20 tahun lalu masih boleh digunakan semula.

Sebagai contoh, keupayaan keselamatan di sebalik Microsoft Security Copilot masih datang daripada pengumpulan keselamatan sedia ada, dan model besar masih menggunakan Cloudflare dan Auth0 untuk mengurus trafik dan identiti pengguna. Selain itu, terdapat tembok api, sistem pengesanan pencerobohan, teknologi penyulitan, sistem pengesahan dan akses, dsb., untuk memastikan isu keselamatan rangkaian.

Apa yang sebenarnya ingin kami bincangkan di sini ialah terdapat penyelesaian kepada kebanyakan masalah keselamatan yang kami hadapi pada masa ini berkaitan model besar.

Yang pertama ialah keselamatan model (Keselamatan AI).

Ini secara khusus termasuk isu seperti penjajaran (Penjajaran), kebolehtafsiran (Kebolehcampuran) dan kekukuhan (Keteguhan). Diterjemah ke dalam istilah yang mudah difahami, kami memerlukan model AI yang besar untuk diselaraskan dengan niat manusia. terdapat ruang yang lebih besar untuk kesilapan.

Penyelesaian kepada set masalah ini bergantung pada proses latihan AI, sama seperti pandangan seseorang dibentuk melalui latihan dan pendidikan.

Pada masa ini, beberapa syarikat asing telah mula menyediakan pemantauan keselamatan proses penuh untuk latihan model besar, seperti Calypso AI Alat keselamatan VESPR yang mereka lancarkan boleh memantau keseluruhan kitaran hayat model daripada penyelidikan hingga penggunaan, dan setiap langkah dari data ke latihan Pantau setiap langkah dan akhirnya menyediakan laporan komprehensif tentang fungsi, kelemahan, prestasi dan ketepatan.

Bagi isu yang lebih khusus, seperti menyelesaikan masalah karut AI, OpenAI melancarkan teknologi baharu apabila GPT-4 dikeluarkan, membolehkan AI mensimulasikan refleksi diri manusia. Selepas itu, kecenderungan model GPT-4 untuk bertindak balas terhadap permintaan kandungan yang menyalahi undang-undang (seperti kaedah mencederakan diri sendiri, dsb.) telah dikurangkan sebanyak 82% berbanding dengan yang asal, dan bilangan respons kepada permintaan sensitif (seperti perundingan perubatan, dsb.) yang mematuhi dasar rasmi Microsoft meningkat sebanyak 29%.

Selain pemantauan keselamatan semasa proses latihan model besar, "pemeriksaan kualiti" juga diperlukan apabila model besar akhirnya diperkenalkan ke pasaran.

Di luar negara, syarikat keselamatan Cranium cuba membina "platform keselamatan dan amanah kecerdasan buatan hujung ke hujung" untuk mengesahkan keselamatan kecerdasan buatan dan memantau ancaman musuh.

Di China, CoAI dari Jabatan Sains Komputer dan Teknologi Universiti Tsinghua melancarkan rangka kerja penilaian keselamatan pada awal Mei Mereka meringkaskan dan mereka bentuk sistem klasifikasi keselamatan yang agak lengkap, termasuk 8 senario keselamatan biasa dan 6 senario keselamatan boleh digunakan untuk menilai keselamatan model besar.

▲ Gambar dipetik daripada "Penilaian Keselamatan Model Bahasa Besar Cina"

Selain itu, beberapa teknologi perlindungan luaran juga menjadikan model AI besar lebih selamat.

Sebagai contoh, NVIDIA mengeluarkan alat baharu yang dipanggil "NeMo Guardrails" pada awal Mei, yang setara dengan memasang penapis keselamatan untuk model besar, yang bukan sahaja mengawal output model besar, tetapi juga membantu menapis input.

▲ Sumber gambar: laman web rasmi NVIDIA

Sebagai contoh, apabila pengguna mendorong model besar untuk menjana kod yang menyinggung, atau kandungan berbahaya atau berat sebelah, "teknologi pagar" akan menyekat model besar daripada mengeluarkan kandungan yang berkaitan.

Selain itu, teknologi guardrail juga boleh menyekat "input berniat jahat" dari dunia luar dan melindungi model besar daripada serangan pengguna Contohnya, "suntikan segera" yang mengancam model besar seperti yang kami nyatakan sebelum ini boleh dikawal dengan berkesan.

Ringkasnya, teknologi pagar adalah seperti perhubungan awam untuk usahawan, membantu model besar menyatakan perkara yang patut mereka katakan dan mengelakkan isu yang tidak boleh mereka sentuh.

Sudah tentu, dari perspektif ini, walaupun "teknologi guardrail" menyelesaikan masalah "karut", ia bukan milik "AI Safety", tetapi "Security" untuk AI” kategori.

Selain kedua-dua ini, isu keselamatan sosial/rangkaian yang disebabkan oleh model AI yang besar juga telah mula diselesaikan.

Sebagai contoh, masalah penjanaan imej AI pada asasnya ialah kematangan teknologi DeepFake, yang secara khusus merangkumi pemalsuan video dalam, pengklonan bunyi palsu dalam, imej palsu dalam dan teks terjana palsu dalam.

Pada masa lalu, pelbagai jenis kandungan palsu mendalam biasanya wujud dalam satu bentuk, tetapi selepas model besar AI, pelbagai jenis kandungan palsu mendalam menunjukkan trend integrasi, membuat pertimbangan kandungan palsu mendalam lebih rumit.

Tetapi tidak kira bagaimana teknologi berubah, kunci untuk memerangi pemalsuan mendalam ialah pengenalan kandungan, iaitu, mencari jalan untuk membezakan apa yang dihasilkan oleh AI.

Seawal Februari tahun ini, OpenAI menyatakan bahawa ia akan mempertimbangkan untuk menambah tera air pada kandungan yang dihasilkan oleh ChatGPT.

Pada bulan Mei, Google juga menyatakan bahawa ia akan memastikan bahawa setiap imej yang dihasilkan oleh AI syarikat mempunyai tera air terbenam.

Tanda air jenis ini tidak boleh dikenali dengan mata kasar, tetapi boleh dilihat oleh mesin dengan cara tertentu Pada masa ini, aplikasi AI termasuk Shutterstock, Midjourney, dsb. juga akan menyokong kaedah penandaan baharu ini.

▲ Tangkapan skrin Twitter

Di China, Xiaohongshu telah menandakan imej yang dijana AI sejak April, mengingatkan pengguna bahawa "ia disyaki mengandungi maklumat yang dicipta AI, sila beri perhatian untuk menyemak keasliannya." Pada awal Mei, Douyin juga mengeluarkan spesifikasi platform kandungan yang dijana kecerdasan buatan dan inisiatif industri, mencadangkan semua penyedia teknologi kecerdasan buatan generatif harus menandakan dengan jelas kandungan terjana untuk memudahkan penghakiman awam.

▲ Sumber: Tangkapan skrin Xiaohongshu

Walaupun dengan pembangunan industri AI, beberapa syarikat/jabatan keselamatan AI khusus telah mula muncul di dalam dan luar negara Mereka menggunakan AI untuk melawan AI untuk melengkapkan sintesis mendalam dan pengesanan pemalsuan.

Sebagai contoh, pada bulan Mac tahun ini, gergasi IT Jepun CyberAgent mengumumkan bahawa ia akan memperkenalkan sistem pengesanan "deepfake" bermula pada April untuk mengesan foto muka atau video palsu yang dihasilkan oleh kecerdasan buatan (AI).

Di dalam negara, Baidu melancarkan platform pengesanan perubahan wajah yang mendalam pada tahun 2020. Penyelesaian baris gilir ciri dinamik (DFQ) dan kaedah pembelajaran metrik yang mereka cadangkan boleh meningkatkan keupayaan generalisasi model untuk pengecaman pemalsuan.

▲ Gambar: Logik Baidu DFQ

Dari segi permulaan, platform pengesanan kandungan deepfake DeepReal yang dilancarkan oleh Ruilai Intelligence boleh mengenal pasti isu seperti perbezaan perwakilan antara kandungan deepfake dan kandungan sebenar, dan melombong ciri konsistensi kandungan deepfake dalam saluran penjanaan yang berbeza imej, video dan audio dalam pelbagai format dan kualiti.

Secara keseluruhannya, daripada latihan model kepada perlindungan keselamatan, daripada Keselamatan AI kepada Keselamatan untuk AI, industri model besar telah membentuk satu set mekanisme keselamatan asas.

Sudah tentu, semua ini hanyalah permulaan, jadi ini sebenarnya bermakna masih ada peluang pasaran yang lebih besar tersembunyi.

Tillion peluang dalam keselamatan AI

Seperti AI Infra, keselamatan AI juga menghadapi jurang industri yang besar di China. Walau bagaimanapun, rantaian industri keselamatan AI lebih kompleks daripada AI Infra. Di satu pihak, kelahiran model besar sebagai perkara baru telah mencetuskan gelombang keperluan keselamatan, dan arahan dan teknologi keselamatan dalam tiga peringkat di atas adalah berbeza sama sekali, teknologi model besar juga telah digunakan dalam bidang keselamatan, membawa faedah keselamatan baharu.

Keselamatan untuk AI dan AI untuk keselamatan ialah dua hala tuju dan peluang industri yang berbeza.

Kuasa daya tarikan yang menggalakkan perkembangan kedua-duanya pada peringkat ini juga berbeza sama sekali:

• AI untuk keselamatan menggunakan model besar untuk bidang keselamatan Ia tergolong dalam peringkat mencari paku dengan tukul Kini kami mempunyai alat, kami masih meneroka lebih lanjut untuk mengetahui masalah yang boleh diselesaikan ;
• Keselamatan untuk AI tergolong dalam peringkat di mana terdapat paku di mana-mana dan terdapat keperluan mendesak untuk membina tukul. Terlalu banyak masalah yang terdedah, dan teknologi baharu perlu dibangunkan untuk menyelesaikannya satu persatu.

Berkenaan peluang industri yang dibawa oleh keselamatan AI, artikel ini juga akan mengembangkan kedua-dua aspek ini. Oleh kerana panjang artikel yang terhad, kami akan memberikan penjelasan terperinci tentang peluang yang mempunyai kesegeraan, kepentingan, dan kesejagatan aplikasi tertinggi pada masa yang sama, serta inventori syarikat penanda aras Ini hanya untuk rujukan .

(1) Keselamatan untuk AI: 3 sektor, 5 pautan, 1 trilion peluang

Semak klasifikasi asas keselamatan AI dalam artikel sebelumnya: ia dibahagikan kepada keselamatan model bahasa besar (Keselamatan AI), keselamatan model dan model penggunaan (Keselamatan untuk AI), dan kesan pembangunan model bahasa yang besar pada keselamatan rangkaian sedia ada. Iaitu, keselamatan individu model, keselamatan alam sekitar model dan keselamatan sosial model (keselamatan rangkaian).

Tetapi keselamatan AI tidak terhad kepada tiga sektor bebas ini. Untuk memberikan contoh yang jelas, dalam dunia dalam talian, data adalah seperti sumber air Sumber air wujud di lautan, sungai, tasik, glasier dan gunung salji, tetapi sumber air juga beredar di sungai yang padat, dan pencemaran serius sering tertumpu di kawasan tertentu. sungai.

Begitu juga, setiap modul perlu disambungkan, dan sama seperti sendi seseorang adalah yang paling terdedah, penggunaan dan aplikasi model selalunya merupakan pautan yang paling terdedah kepada serangan keselamatan.

Kami telah mengembangkan butiran keselamatan AI secara terpilih dalam 3 bahagian dan 5 pautan di atas untuk membentuk "Gambarajah Seni Bina Industri Keselamatan AI Walau bagaimanapun, perlu diingatkan bahawa ia adalah milik syarikat model besar dan vendor awan daripada syarikat besar, dsb. Peluang-peluang yang memberi sedikit impak kepada usahawan biasa ini tidak disenaraikan lagi. Pada masa yang sama, keselamatan untuk AI adalah proses yang berkembang, dan teknologi hari ini hanyalah satu langkah kecil ke hadapan.

▲ (Gambar adalah asal dari Quadrant, sila nyatakan sumber semasa mencetak semula)

1 Rantaian industri keselamatan data: pembersihan data, pengkomputeran privasi, sintesis data, dll.

Dalam keseluruhan keselamatan AI, keselamatan data berjalan melalui keseluruhan kitaran.

Keselamatan data secara amnya merujuk kepada alatan keselamatan yang digunakan untuk melindungi data dalam sistem komputer daripada dimusnahkan, diubah dan dibocorkan disebabkan oleh sebab tidak sengaja dan berniat jahat untuk memastikan ketersediaan, integriti dan kerahsiaan data.

Secara keseluruhan, produk keselamatan data termasuk bukan sahaja pertahanan keselamatan pangkalan data, pencegahan kebocoran data, pemulihan bencana data dan penyahpekaan data, dsb., tetapi juga meliputi storan awan, pengkomputeran privasi, penilaian dinamik risiko data, keselamatan data merentas platform, data Bidang yang berpandangan ke hadapan seperti perlindungan maya keselamatan dan sintesis data, oleh itu membina pusat keselamatan keseluruhan di sekeliling keselamatan data dari perspektif perusahaan dan menggalakkan jaminan ketekalan keselamatan data daripada perspektif rantaian bekalan akan menjadi cara yang berkesan untuk menangani keselamatan rantaian bekalan perusahaan risiko.

Petik beberapa contoh biasa:

Untuk memastikan "kesihatan mental" model, data yang digunakan untuk melatih model tidak boleh mengandungi data berbahaya, data yang salah dan data kotor yang lain Ini adalah prasyarat untuk memastikan model itu tidak akan "bercakap kosong". . Menurut kertas rujukan "Self Quadrant", sudah ada "keracunan data", di mana penyerang menambah data berniat jahat pada sumber data untuk mengganggu hasil model.

▲Rangkaian sumber foto

Oleh itu, pembersihan data telah menjadi langkah yang perlu sebelum latihan model. Pembersihan data merujuk kepada proses akhir untuk menemui dan membetulkan ralat yang boleh dikenal pasti dalam fail data, termasuk menyemak konsistensi data, mengendalikan nilai tidak sah dan nilai yang hilang, dsb. Hanya dengan "menyuap" data yang telah dibersihkan kepada model boleh dipastikan penjanaan model yang sihat.

Arah yang lain adalah sangat membimbangkan semua orang Ia telah dibincangkan secara meluas dalam era keselamatan rangkaian terakhir, isu kebocoran privasi data.

Anda mesti pernah berbual dengan rakan di WeChat tentang produk tertentu, dan kemudian ditolak ke produk itu apabila anda membuka Taobao atau Douyin Dalam era digital, orang hampir lut sinar. Dalam era kecerdasan, mesin menjadi lebih pintar, dan penangkapan serta induksi yang disengajakan akan membawa isu privasi ke hadapan sekali lagi.

Pengkomputeran peribadi adalah salah satu penyelesaian kepada masalah tersebut. Pengiraan berbilang pihak yang selamat, persekitaran pelaksanaan yang dipercayai dan pembelajaran bersekutu ialah tiga hala utama pengkomputeran privasi pada masa ini. Terdapat banyak kaedah pengiraan privasi Sebagai contoh, untuk memastikan data sebenar pengguna, 1 data sebenar dilengkapi dengan 99 data gangguan, tetapi ini akan meningkatkan kos penggunaan perusahaan pengguna menjadi A kecil, Syarikat yang menggunakan data itu hanya akan mengetahui bahawa terdapat pengguna bernama Little A, tetapi ia tidak akan tahu siapa pengguna sebenar di sebalik Little A.

"Data bercampur" dan "data tersedia dan tidak kelihatan" ialah salah satu kaedah pengkomputeran privasi yang paling biasa digunakan hari ini. Teknologi Ant, yang membesar dalam senario kewangan, agak maju dalam penerokaan keselamatan data Pada masa ini, Teknologi Ant menyelesaikan isu keselamatan data dalam proses pengkomputeran kolaboratif perusahaan melalui pembelajaran bersekutu, persekitaran pelaksanaan yang dipercayai, rantaian blok dan teknologi lain. dan merealisasikan keselamatan data, kerjasama pelbagai pihak dan kaedah lain boleh digunakan untuk memastikan privasi data dan mempunyai daya saing yang kuat dalam bidang pengkomputeran privasi global.

Tetapi dari perspektif data, data sintetik boleh menyelesaikan masalah secara lebih asas. Dalam artikel "Siri Pendedahan ChatGPT | Pasaran Seratus Bilion Tersembunyi Di Bawah Al lnfra" (klik pada teks untuk membaca), "Kuadran Diri" menyebut bahawa data sintetik mungkin menjadi kuasa utama data AI. Data sintetik ialah data yang dihasilkan secara buatan oleh komputer untuk menggantikan data sebenar yang dikumpul di dunia nyata untuk memastikan keselamatan data sebenar Ia tidak mempunyai kandungan sensitif yang disekat secara sah dan privasi pengguna persendirian.

Sebagai contoh, pengguna A mempunyai 10 ciri, pengguna B mempunyai 10 ciri, dan pengguna C mempunyai 10 ciri Data sintetik secara rawak terputus dan memadankan 30 ciri ini untuk membentuk 3 individu data baharu entiti di dunia nyata, tetapi ia mempunyai nilai latihan.

Pada masa ini, perusahaan menggunakan satu demi satu, yang turut menyebabkan jumlah data sintetik berkembang pada kadar eksponen. Penyelidikan Gartner percaya bahawa pada tahun 2030, data sintetik akan jauh melebihi jumlah data sebenar dan menjadi kuasa utama data AI.

▲ Sumber gambar rasmi Gartner

2. Keselamatan API: Semakin terbuka model, semakin penting keselamatan API

Orang yang biasa dengan model besar mesti biasa dengan API Dari OpenAI ke Anthropic, Cohere dan juga Google's PaLM, LLM yang paling berkuasa semuanya menyampaikan keupayaan dalam bentuk API. Pada masa yang sama, menurut penyelidikan oleh Gartner, pada tahun 2022, lebih daripada 90% serangan pada aplikasi web akan datang daripada API dan bukannya antara muka pengguna manusia.

Peredaran data adalah seperti air dalam paip air Ia berharga hanya apabila ia beredar, dan API ialah injap utama untuk aliran data. Memandangkan API menjadi pautan teras antara perisian, ia mempunyai peluang yang semakin meningkat untuk menjadi perkara besar seterusnya.

Risiko terbesar API datang daripada kebenaran yang berlebihan Untuk membolehkan API berjalan tanpa gangguan, pengaturcara sering memberikan kebenaran yang lebih tinggi kepada API. Sebaik sahaja penggodam menjejaskan API, mereka boleh menggunakan keistimewaan tinggi ini untuk melaksanakan operasi lain. Ini telah menjadi masalah yang serius Menurut penyelidikan oleh Akamai, serangan terhadap API telah menyumbang 75% daripada semua serangan kecurian akaun di seluruh dunia.

Inilah sebabnya ChatGPT telah membuka antara muka APInya, dan banyak syarikat masih memperoleh ChatGPT dengan membeli perkhidmatan OpenAI yang disediakan oleh Azure. Menyambung melalui antara muka API adalah setara dengan membekalkan data perbualan secara langsung kepada OpenAI, dan ia menghadapi risiko serangan penggodam pada bila-bila masa Jika anda membeli sumber awan Azure, anda boleh menyimpan data pada awan awam Azure untuk memastikan keselamatan data.

▲ Gambar: Laman web rasmi ChatGPT

Pada masa ini, alat keselamatan API terbahagi terutamanya kepada beberapa kategori: pengesanan, perlindungan dan tindak balas, ujian, penemuan dan pengurusan beberapa pengeluar mendakwa menyediakan alatan platform yang merangkumi sepenuhnya kitaran keselamatan API, tetapi API yang paling popular; alatan keselamatan hari ini terutamanya Fokus pada tiga pautan "perlindungan", "ujian" dan "penemuan":

• Perlindungan: Alat yang melindungi API daripada serangan permintaan berniat jahat, sedikit seperti tembok api API.
• Pengujian: Keupayaan untuk mengakses dan menilai API tertentu secara dinamik untuk mencari kelemahan (ujian) dan mengeraskan kod.
• Penemuan: Terdapat juga alatan yang boleh mengimbas persekitaran perusahaan untuk mengenal pasti dan menemui aset API yang ada (atau terdedah) dalam rangkaian mereka.

Pada masa ini, pengeluar keselamatan API arus perdana tertumpu di syarikat asing, tetapi selepas kebangkitan model besar, syarikat pemula domestik juga telah mula berusaha. Diasaskan pada 2018, Teknologi Xinglan ialah salah satu daripada beberapa vendor keselamatan rantaian penuh API domestik Berdasarkan persepsi kedalaman AI dan teknologi pembelajaran mesin penyesuaian, ia membantu menyelesaikan isu keselamatan API daripada keupayaan serangan dan pertahanan, keupayaan analisis data besar dan asli awan. sistem teknologi. Ia menyediakan pengenalan API panoramik, pengesanan ancaman lanjutan API, analisis tingkah laku yang kompleks dan keupayaan lain untuk membina sistem Perlindungan Masa Jalanan API.

▲ Seni Bina Produk Keselamatan API Teknologi Xinglan

Sesetengah syarikat keselamatan rangkaian tradisional juga sedang berubah ke arah perniagaan keselamatan API Contohnya, Wangsu Technology sebelum ini bertanggungjawab terutamanya untuk IDC, CDN dan produk serta perniagaan lain yang berkaitan.

▲ Sumber gambar: Teknologi Wangsu

3. SSE (Secure Service Edge): Firewall Baharu

Kepentingan tembok api dalam era Internet adalah jelas ia seperti pegangan tangan berjalan beribu-ribu batu tinggi di langit Pada masa kini, konsep tembok api telah beralih dari meja depan ke bahagian belakang, dan tertanam dalam perkakasan. terminal dan sistem pengendalian perisian. Secara ringkas dan kasar, SSE boleh difahami sebagai jenis tembok api baharu, didorong oleh identiti pelawat dan bergantung pada model amanah sifar untuk menyekat akses pengguna kepada sumber yang dibenarkan.

Menurut definisi Gartner, SSE (Security Service Edge) ialah satu set fungsi keselamatan bersepadu berpusatkan awan yang melindungi akses kepada Web, perkhidmatan awan dan aplikasi peribadi. Ciri termasuk kawalan akses, perlindungan ancaman, keselamatan data, pemantauan keselamatan dan kawalan penggunaan yang boleh diterima melalui penyepaduan berasaskan web dan API.

SSE merangkumi tiga bahagian utama: gerbang web selamat, ejen keselamatan awan dan model amanah sifar, yang sepadan dengan menyelesaikan risiko yang berbeza:

• Gerbang web selamat membantu menghubungkan pekerja ke internet awam, seperti tapak web yang mungkin mereka gunakan untuk penyelidikan, atau aplikasi awan yang bukan aplikasi SaaS perusahaan rasmi
• Cloud Access Security Broker menghubungkan pekerja ke aplikasi SaaS seperti Office 365 dan Salesforce
• Zero Trust Network Access menghubungkan pekerja kepada aplikasi perusahaan persendirian yang dijalankan di pusat data di premis atau di awan.

Walau bagaimanapun, vendor SSE yang berbeza mungkin menumpukan pada pautan tertentu di atas, atau mahir pada pautan tertentu. Pada masa ini, keupayaan bersepadu utama SSE luar negara termasuk Secure Network Gateway (SWG), Zero Trust Network Access (ZTNA), Cloud Access Security Broker (CASB), Data Loss Prevention (DLP) dan keupayaan lain, bagaimanapun, pembinaan domestik awan masih agak lemah Ia berada di peringkat awal dan tidak selengkap negara Eropah dan Amerika.

▲ Sumber gambar: Siyuan Business Consulting

Oleh itu, keupayaan SSE pada peringkat semasa harus menyepadukan keupayaan yang lebih tradisional dan setempat, seperti keupayaan probe pengesanan trafik, keupayaan perlindungan aplikasi Web, pengimbasan kelemahan aset, pengurusan terminal dan keupayaan lain Keupayaan ini secara relatifnya Pelanggan China memerlukan lebih banyak pada peringkat semasa. Daripada perspektif ini, SSE perlu menggunakan kerjasama awan-tanah dan keupayaan bekas asli awan untuk membawa nilai kepada pelanggan seperti kos perolehan yang rendah, penggunaan pantas, pengesanan keselamatan dan operasi gelung tertutup.

Tahun ini, untuk model besar, peneraju industri Netskope mendahului dalam beralih kepada aplikasi keselamatan dalam model Pasukan keselamatan menggunakan alat automatik untuk terus memantau aplikasi yang cuba diakses oleh pengguna perusahaan (seperti ChatGPT), cara mengakses. , bila untuk mengakses, dan dari Tempat untuk mengakses, kekerapan untuk mengakses, dsb. Mesti ada pemahaman tentang tahap risiko yang berbeza yang ditimbulkan oleh setiap aplikasi kepada organisasi dan keupayaan untuk memperhalusi dasar kawalan akses dalam masa nyata berdasarkan klasifikasi dan keadaan keselamatan yang mungkin berubah dari semasa ke semasa.

Pemahaman mudah ialah Netskope memberi amaran kepada pengguna dengan mengenal pasti risiko dalam menggunakan ChatGPT, sama seperti mod amaran dalam menyemak imbas halaman web dan memuat turun pautan. Model ini tidak inovatif, malah sangat tradisional, tetapi ia adalah yang paling berkesan dalam menghalang pengguna daripada beroperasi.

▲ Sumber gambar: laman web rasmi Netskope

Netskope menyambung kepada model besar dalam bentuk pemalam yang selamat Dalam demonstrasi, apabila pengendali ingin menyalin sekeping data kewangan dalaman syarikat dan membenarkan ChatGPT membantu membentuk borang, bar amaran akan muncul. ingatkan pengguna sebelum menghantar.

▲ Sumber gambar: laman web rasmi Netskope

Malah, mengenal pasti risiko yang tersembunyi dalam model besar adalah jauh lebih sukar daripada mengenal pasti Trojan dan kelemahan Ketepatan memastikan sistem hanya memantau dan menghalang muat naik data sensitif (termasuk fail dan keratan yang ditampal) melalui aplikasi berdasarkan buatan buatan. kecerdasan. teks papan) tanpa menyekat pertanyaan tidak berbahaya dan tugas keselamatan melalui chatbots, bermakna pengenalan tidak boleh digunakan untuk semua, tetapi boleh dikendalikan berdasarkan pemahaman semantik dan kriteria yang munasabah.

4. Penipuan dan anti-penipuan: tera air digital dan teknologi pengesahan biometrik

Pertama sekali, adalah jelas bahawa AI menipu manusia dan manusia menggunakan AI untuk menipu manusia adalah dua perkara yang berbeza.

AI menipu manusia, terutamanya kerana "pendidikan" model besar tidak dilakukan dengan baik "teknologi guardrail" NVIDIA yang disebutkan di atas dan pembelajaran tanpa pengawasan OpenAI adalah semua kaedah untuk memastikan kesihatan model dalam Keselamatan AI. pautan.

Namun, menghalang AI daripada menipu manusia dan pada dasarnya menyegerakkannya dengan latihan model adalah tugas syarikat model besar.

Manusia yang menggunakan teknologi AI untuk menipu berada di peringkat keseluruhan keselamatan rangkaian atau keselamatan sosial Pertama sekali, perlu jelas bahawa konfrontasi teknologi hanya boleh menyelesaikan sebahagian daripada masalah, dan penyeliaan, perundangan, dll. masih diperlukan. untuk mengawal kedudukan jenayah.

Pada masa ini, terdapat dua cara untuk melawan teknologi Satu adalah di bahagian pengeluaran, menambahkan tera air digital pada kandungan yang dijana oleh AI untuk menjejaki sumber kandungan, yang lain adalah di bahagian aplikasi, menyasarkan ciri-ciri khusus seperti muka ciri-ciri biometrik untuk pengenalan yang lebih tepat.

Tanda air digital boleh membenamkan maklumat pengenalan ke dalam pembawa digital Dengan menyembunyikan beberapa kod digital atau maklumat tertentu dalam pembawa, ia boleh mengesahkan dan menentukan sama ada pembawa telah diganggu, menyediakan mekanisme perlindungan yang tidak kelihatan untuk kandungan digital.

OpenAI sebelum ini telah menyatakan bahawa pertimbangkan untuk menambahkan tera air pada ChatGPT untuk mengurangkan kesan negatif penyalahgunaan model Google menyatakan pada persidangan pembangun tahun ini bahawa ia akan memastikan bahawa syarikat setiap An AI-; imej yang dijana mempunyai tera air terbenam ini tidak boleh dikenali dengan mata kasar, tetapi perisian seperti enjin carian Google boleh membacanya dan memaparkannya sebagai label untuk mengingatkan pengguna bahawa imej itu dihasilkan oleh aplikasi AI; sebagai Shutterstock dan Midjourney Kaedah penandaan baharu ini juga akan disokong.

Pada masa ini, sebagai tambahan kepada tera air digital tradisional, tera air digital berdasarkan pembelajaran mendalam juga telah berkembang Rangkaian saraf dalam digunakan untuk mempelajari dan membenamkan tera air digital, yang sangat tahan terhadap kemusnahan dan keteguhan. Teknologi ini boleh mencapai pembenaman tera air digital berkekuatan tinggi, tahan terhadap kesalahan tinggi tanpa kehilangan kualiti imej asal, dan boleh menahan serangan pemprosesan imej dan serangan steganalisis dengan berkesan. Ia adalah arah teknikal yang besar seterusnya.

Dari segi aplikasi, video muka sintetik kini merupakan "kaedah penipuan" yang paling biasa digunakan. Platform pengesanan kandungan berdasarkan DeepFake (teknologi palsu mendalam) adalah salah satu penyelesaian semasa.

Pada awal Januari tahun ini, NVIDIA mengeluarkan perisian yang dipanggil FakeCatcher, yang mendakwa dapat mengesan sama ada video itu palsu mendalam dengan ketepatan sehingga 96%.

Menurut laporan, teknologi FakeCatcher Intel boleh mengenal pasti perubahan dalam warna urat semasa darah beredar di dalam badan. Isyarat aliran darah kemudiannya dikumpulkan dari muka dan diterjemahkan melalui algoritma untuk membezakan sama ada video itu asli atau palsu. Jika ia adalah orang sebenar, darah beredar di dalam badan sepanjang masa, dan urat pada kulit akan berubah secara berkala, tetapi orang deepfake tidak.

▲ Sumber gambar Laman web rasmi Real AI

Terdapat juga syarikat permulaan domestik "Real AI" berdasarkan prinsip teknikal yang serupa Dengan mengenal pasti perbezaan perwakilan antara kandungan palsu dan kandungan sebenar, ia boleh melombong ciri konsisten kandungan palsu mendalam melalui kaedah penjanaan yang berbeza.

(2) AI untuk keselamatan: peluang baharu dalam rantaian industri matang

Tidak seperti keselamatan untuk AI, yang masih merupakan peluang industri yang agak baru muncul, "AI untuk keselamatan" lebih kepada transformasi dan pengukuhan sistem keselamatan asal.

Masih Microsoft yang mengambil gambar pertama di AI untuk keselamatan Pada 29 Mac, selepas menyediakan pembantu Copilot dipacu AI untuk suite Office, Microsoft hampir serta-merta mengalihkan perhatiannya kepada bidang keselamatan dan melancarkan GPT-4-. penyelesaian AI Generatif berasaskan - Microsoft Security Copilot.

Microsoft Security Copilot masih memfokuskan pada konsep juruterbang bersama AI Ia tidak melibatkan penyelesaian keselamatan baharu, tetapi proses automatik sepenuhnya bagi pemantauan dan pemprosesan keselamatan perusahaan melalui AI.

▲ Sumber gambar laman web rasmi Microsoft

Berdasarkan demonstrasi Microsoft, Security Copilot boleh mengurangkan pemprosesan insiden perisian tebusan yang pada asalnya mengambil masa berjam-jam atau bahkan berpuluh-puluh jam hingga beberapa saat, sekali gus meningkatkan kecekapan pemprosesan keselamatan perusahaan.

Arkitek keselamatan Microsoft AI Chang Kawaguchi Kawaguchi pernah menyebut: "Jumlah serangan semakin meningkat, tetapi kuasa pertahanan tersebar di antara pelbagai alat dan teknologi. Kami percaya bahawa Security Copilot dijangka mengubah cara ia beroperasi dan meningkatkan alat keselamatan dan keberkesanan sebenar teknologi tersebut.”

Pada masa ini, syarikat keselamatan domestik Qi’anxin dan Sangfor turut mengikuti perkembangan di kawasan ini. Pada masa ini, perniagaan ini masih di peringkat awal di China, dan kedua-dua syarikat itu belum mengumumkan produk tertentu, tetapi mereka boleh bertindak balas tepat pada masanya dan bersaing dengan gergasi antarabangsa.

Pada bulan April, Google Cloud melancarkan Security AI Workbench di RSAC 2023, yang merupakan platform berskala berdasarkan model keselamatan besar Google Sec-PaLM. Perusahaan boleh mengakses pelbagai jenis pemalam keselamatan melalui Security AI Workbench untuk menyelesaikan isu keselamatan tertentu.

▲ Sumber: tapak web rasmi Google

Jika Microsoft Security Copilot ialah satu set pembantu keselamatan peribadi yang dirangkumkan, Security AI Workbench Google ialah satu set kotak alat keselamatan AI yang boleh disesuaikan dan dikembangkan.

Ringkasnya, trend besar ialah ia akan menjadi kebiasaan untuk menggunakan AI untuk membina pusat operasi keselamatan automatik untuk memerangi bentuk keselamatan rangkaian yang berubah dengan pantas.

Selain pengeluar utama utama, aplikasi model AI besar dalam bidang keselamatan juga memasuki kapilari. Sebagai contoh, banyak syarikat keselamatan domestik telah mula menggunakan AI untuk mengubah produk keselamatan tradisional.

Sebagai contoh, Sangfor mencadangkan logik "perniagaan awan + AI" dan melancarkan teknologi penyepaduan dimensi pintar AIOps Dengan mengumpul log awan desktop, pautan dan data penunjuk, ia melaksanakan ramalan kesalahan, pengesanan anomali, penaakulan korelasi dan algoritma lain untuk. menyediakan pengguna dengan Menyediakan perkhidmatan analisis pintar.

Teknologi Shanshi menyepadukan keupayaan AI ke dalam keupayaan pembelajaran mesin bagi maklum balas positif dan negatif Dari segi latihan maklum balas positif dan analisis tingkah laku yang tidak normal, pembelajaran berdasarkan garis dasar tingkah laku dapat mengesan ancaman dan anomali dengan lebih tepat dan mengurangkan negatif palsu maklum balas negatif Dari segi latihan, latihan tingkah laku, pengelompokan tingkah laku, klasifikasi tingkah laku dan penentuan ancaman dilakukan. Di samping itu, terdapat syarikat seperti Anbotong yang menggunakan AI untuk analisis titik kesakitan operasi keselamatan dan sebagainya.

Di luar negara, vendor keselamatan sumber terbuka Armo mengeluarkan penyepaduan ChatGPT, bertujuan untuk membina kawalan keselamatan tersuai untuk kelompok Kubernetes melalui bahasa semula jadi. Vendor keselamatan awan Orca Security telah mengeluarkan sambungan ChatGPTnya sendiri, yang mampu mengendalikan makluman keselamatan yang dijana oleh penyelesaian dan menyediakan pengguna dengan arahan pemulihan langkah demi langkah untuk mengurus insiden pelanggaran data.

Sudah tentu, sebagai rantaian industri yang matang dan besar, peluang untuk AI untuk keselamatan adalah jauh lebih banyak daripada ini barisan hadapan keselamatan Pergi meneroka.

Lebih penting lagi, saya berharap syarikat-syarikat di atas dapat terus bertapak di bumi dan tidak melupakan aspirasi asal mereka. Letakkan impian anda tentang keluasan dan langit ke dalam tindakan praktikal langkah demi langkah Jangan mencipta konsep dan menangkap angin, apatah lagi memenuhi modal dan wang panas, tidak meninggalkan apa-apa selain bulu.

Kesimpulan

Dalam tempoh 10 tahun selepas kelahiran Internet, konsep dan rantaian industri keselamatan rangkaian mula terbentuk.

Hari ini, setengah tahun selepas kemunculan model besar, keselamatan model besar dan pencegahan penipuan telah menjadi buah mulut orang ramai. Ini adalah mekanisme pertahanan yang dibina dalam "kesedaran manusia" selepas kemajuan dan lelaran teknologi yang dipercepatkan Seiring dengan perkembangan zaman, ia akan dicetuskan dan disuap kembali dengan lebih cepat.

Kekacauan dan panik hari ini tidak mengerikan, ia adalah langkah-langkah era seterusnya.

Seperti yang dinyatakan dalam "Sejarah Ringkas Kemanusiaan": Tingkah laku manusia tidak selalu berdasarkan sebab, dan keputusan kita sering dipengaruhi oleh emosi dan gerak hati. Tetapi ini adalah bahagian terpenting dalam kemajuan dan pembangunan.

Atas ialah kandungan terperinci Artikel panjang 10,000 perkataan丨Menyahbina rantaian industri keselamatan AI, penyelesaian dan peluang keusahawanan. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!