Temu bual dengan Sam Altman: GPT-4 tidak mengejutkan saya, tetapi ChatGPT mengejutkan saya

ChatGPT dan GPT-4 sudah pasti "hot hits" terbesar dalam industri kecerdasan buatan pada awal tahun 2023.

· Saya tidak tahu apa yang buku sejarah akan katakan tentang pelbagai versi GPT. Tetapi jika saya perlu memilih nod kunci yang saya lihat setakat ini, saya fikir ia masih ChatGPT. GPT-4 tidak terlalu mengejutkan saya, tetapi ChatGPT membuatkan saya sedikit gembira.

· Sedikit sebanyak, sistem GPT-4 meningkatkan kecerdasan manusia dan boleh digunakan untuk pelbagai senario.

· Kemudahan penggunaan sistem itu sendiri kadangkala lebih penting daripada keupayaan model asas.

· GPT-4 masih belum sedar dan tidak boleh menggantikan pengaturcara yang baik. Kecerdasan buatan yang benar-benar sedar seharusnya dapat memberitahu orang lain bahawa ia sedar, menyatakan kesakitannya sendiri dan emosi lain, memahami situasinya sendiri, mempunyai ingatan sendiri, dan berinteraksi dengan orang lain.

· Kecerdasan buatan akan membawa peningkatan besar kepada kualiti hidup manusia Kita boleh menyembuhkan penyakit, mencipta kekayaan, menambah sumber, dan menggembirakan manusia... Nampaknya manusia tidak perlu lagi bekerja, tetapi Manusia. makhluk juga memerlukan status sosial, memerlukan semangat, perlu mencipta, dan perlu merasakan nilai mereka sendiri. Oleh itu, selepas kemunculan era kecerdasan buatan, apa yang perlu kita lakukan ialah mencari pekerjaan dan gaya hidup baharu, dan menerima peningkatan besar yang dibawa oleh teknologi baharu.

Sam Altman, salah seorang pengasas OpenAI, kini adalah presiden Y Combinator dan Ketua Pegawai Eksekutif OpenAI, sebuah makmal kecerdasan buatan Amerika. Mengetuai makmal kecerdasan buatan OpenAI untuk membangunkan program chatbot ChatGPT, dan dipanggil "Bapa ChatGPT" oleh media.

(L merujuk kepada Lex Fridman, S merujuk kepada Sam Altman)

Jika anda menulis sejarah AI di Wikipedia, ChatGPT masih merupakan nod paling kritikal

S1

L: Apakah itu GPT-4? Bagaimana ia berfungsi? Apakah perkara yang paling menakjubkan tentangnya?

S: Mengimbas kembali sekarang, ia masih merupakan sistem kecerdasan buatan yang sangat asas, kecekapan kerjanya rendah, terdapat beberapa masalah kecil, dan banyak perkara tidak dapat diselesaikan dengan memuaskan. Namun, ia menunjukkan laluan ke hadapan untuk teknologi yang benar-benar penting pada masa hadapan (walaupun prosesnya mengambil masa beberapa dekad).

S2​

L: 50 tahun kemudian, apabila orang melihat semula sistem pintar awal, adakah GPT-4 akan menjadi lonjakan yang sangat besar? ini detik penting? Apabila orang menulis sejarah kecerdasan buatan di Wikipedia, versi GPT yang manakah akan mereka tulis?

S: Proses kemajuan ini sedang berjalan, dan sukar untuk menyatakan dengan jelas detik bersejarah. Saya tidak tahu apa yang akan dikatakan oleh buku sejarah tentang pelbagai versi GPT. Tetapi jika saya terpaksa memilih satu nod utama yang saya lihat setakat ini, saya fikir ia adalah ChatGPT. Apa yang benar-benar penting tentang ChatGPT bukanlah model asasnya sendiri, tetapi cara menggunakan model asas, yang melibatkan pembelajaran pengukuhan berdasarkan maklum balas manusia (RLHF) dan antara mukanya.

S3​

L: Bagaimanakah RLHF menjadikan ChatGPT mempunyai prestasi yang menakjubkan?

S: Kami melatih model ini pada jumlah data teks yang besar. Dalam proses itu, mereka mempelajari beberapa pengetahuan tentang perwakilan peringkat rendah dan dapat melakukan beberapa perkara yang menakjubkan. Tetapi apabila kita baru selesai latihan, jika kita menggunakan model asas ini dengan segera, walaupun ia boleh mempunyai prestasi yang baik pada set ujian, ia tidak begitu mudah untuk digunakan. Untuk tujuan ini, kami melaksanakan RLHF dengan memperkenalkan beberapa maklum balas manusia. RLHF yang paling mudah ialah: berikan model dua versi output, biarkan ia menilai yang mana satu penilai manusia akan lebih suka, dan kemudian suapkan maklumat itu kembali kepada model melalui pembelajaran pengukuhan. RLHF sangat berkesan. Kami boleh menjadikan model lebih praktikal dengan data yang sangat sedikit. Kami menggunakan teknologi ini untuk menyelaraskan model dengan keperluan manusia dan memudahkan untuk memberikan jawapan yang betul yang berguna kepada orang ramai. Tanpa mengira keupayaan model asas, kemudahan penggunaan sistem adalah kritikal.

S4

L: Bagaimanakah anda memahami bahawa dengan menggunakan teknologi RLHF, kita tidak lagi memerlukan pengawasan manusia yang begitu banyak?

S: Untuk bersikap adil, penyelidikan kami mengenai bahagian ini masih di peringkat awal berbanding dengan penyelidikan saintifik asal mengenai mencipta model besar yang telah dilatih, tetapi ia memerlukan lebih sedikit data.

L: Penyelidikan mengenai bimbingan manusia adalah sangat menarik dan penting. Kami menggunakan jenis penyelidikan ini untuk memahami cara menjadikan sistem lebih berguna, lebih bijak, beretika dan konsisten dengan niat manusia. Proses memperkenalkan maklum balas manusia juga penting.

S5

L: Berapa besarkah set data pra-latihan?

S: Kami bekerja keras dengan rakan kongsi kami untuk mendapatkan data pra-latihan ini daripada pelbagai pangkalan data sumber terbuka di Internet dan membina set data yang besar. Malah, selain daripada Reddit, akhbar dan media lain, terdapat banyak kandungan di dunia yang kebanyakan orang tidak jangkakan. Membersih dan menapis data adalah lebih sukar daripada mengumpulnya.

S6

L: Membina ChatGPT memerlukan penyelesaian banyak masalah, seperti: reka bentuk skala seni bina model, pemilihan data, RLHF. Apa yang ajaib tentang bahagian-bahagian ini bersatu?

S: GPT-4 ialah versi yang sebenarnya kami keluarkan dalam produk akhir ChatGPT, dan bilangan bahagian yang diperlukan untuk menciptanya sukar diketahui dan ia memerlukan banyak kerja. Pada setiap peringkat di peringkat awal, kita perlu menghasilkan idea baharu atau melaksanakan idea sedia ada dengan baik.

L: Beberapa langkah teknikal dalam GPT-4 agak matang, seperti meramalkan prestasi yang akan dicapai oleh model sebelum melengkapkan model latihan yang lengkap. Bagaimanakah kita boleh mengetahui ciri khas sistem terlatih sepenuhnya berdasarkan jumlah latihan yang kecil? Ia seperti melihat bayi berusia setahun dan mengetahui berapa banyak mata yang dia dapat dalam peperiksaan kemasukan kolej.

S: Pencapaian ini sangat mengagumkan Ia melibatkan banyak faktor saintifik dan akhirnya mencapai tahap kecerdasan yang diharapkan oleh manusia. Proses pelaksanaan ini jauh lebih saintifik daripada yang saya bayangkan. Seperti semua cabang sains baharu, kami akan menemui perkara baharu yang tidak sesuai dengan data dan menghasilkan penjelasan yang lebih baik untuknya. Ini adalah cara sains berkembang. Walaupun kami telah menyiarkan beberapa maklumat tentang GPT-4 di media sosial, kami harus tetap kagum dengan keajaibannya.

GPT-4 secara sistematik meningkatkan kecerdasan manusia

Q7

L: GPT-4 Model bahasa jenis ini boleh dipelajari atau dirujuk Bahan dari pelbagai bidang. Adakah penyelidik dan jurutera dalam OpenAI mendapat pemahaman yang lebih mendalam tentang keajaiban model bahasa?

S: Kami boleh menilai model dalam pelbagai cara Selepas melatih model, kami boleh mengujinya pada pelbagai tugas Kami juga telah membuka proses ujian model pada Github . Perkara penting ialah kami menghabiskan banyak tenaga kerja, sumber kewangan dan masa untuk menganalisis kepraktisan model, bagaimana model itu boleh membawa kebahagiaan dan membantu orang ramai, cara mencipta dunia yang lebih baik, dan menjana produk dan perkhidmatan baharu. Sudah tentu, kami masih tidak memahami sepenuhnya semua proses dalaman yang membolehkan model melaksanakan tugasnya, tetapi kami akan terus berusaha ke arah ini.

Q8

L: GPT-4 memampatkan sejumlah besar maklumat di Internet menjadi parameter "agak sedikit" dalam model kotak hitam, membentuk manusia kecerdasan. Apakah jenis lonjakan yang diambil dari fakta kepada kebijaksanaan?

S: Kami menggunakan model sebagai pangkalan data untuk menyerap pengetahuan manusia dan bukannya menggunakannya sebagai enjin inferens, dan kuasa pemprosesan sistem telah dipertingkatkan secara ajaib. Dengan cara ini, sistem sebenarnya boleh mencapai tahap penaakulan tertentu, walaupun sesetengah sarjana mungkin berpendapat pernyataan ini tidak ketat. Pada tahap tertentu, sistem GPT-4 meningkatkan kecerdasan manusia dan boleh digunakan untuk pelbagai senario.

L: ChatGPT nampaknya "memiliki" kecerdasan dalam interaksi berterusan dengan manusia Ia mengakui andaian yang salah dan menafikan permintaan yang tidak sesuai dengan cara perbualan ini.

GPT-4 tidak sedar dan tidak akan menggantikan pengaturcara yang baik

Q9

L: Sesetengah orang seronok bekerja dengan Pengaturcaraan dengan GPT , sesetengah orang takut bahawa pekerjaan mereka akan digantikan oleh GPT. Apa pendapat anda tentang fenomena ini?

S: Terdapat beberapa tugas pengaturcaraan kritikal yang masih memerlukan elemen kreatif manusia. Model seperti GPT akan mengautomasikan beberapa tugas pengaturcaraan, tetapi mereka masih tidak boleh menggantikan pengaturcara yang baik. Sesetengah pengaturcara akan berasa bimbang tentang ketidakpastian masa depan, tetapi lebih ramai orang akan merasakan bahawa ia meningkatkan kecekapan kerja mereka.

Dua puluh atau tiga puluh tahun yang lalu, apabila "Deep Blue" mengalahkan tuan catur Kasparov, sesetengah orang menganggap bahawa tidak perlu terus bermain catur. Tetapi catur masih popular di seluruh dunia.

Kecerdasan buatan akan membawa peningkatan besar kepada kualiti hidup manusia Kita boleh menyembuhkan penyakit, mencipta kekayaan, menambah sumber, dan menggembirakan manusia... Nampaknya manusia tidak perlu bekerja lagi, tetapi. manusia Anda juga memerlukan status sosial, anda memerlukan semangat, anda perlu mencipta, anda perlu merasakan nilai anda sendiri. Oleh itu, selepas kemunculan era kecerdasan buatan, apa yang perlu kita lakukan ialah mencari pekerjaan dan gaya hidup baharu, dan menerima peningkatan besar yang dibawa oleh teknologi baharu.

Q10

L: Eliezer Yudkowsky memberi amaran bahawa kecerdasan buatan boleh membahayakan manusia dan memberikan beberapa contoh, hampir mustahil bagi kita untuk mengekalkan kecerdasan buatan super dan Niat manusia "selaras." Adakah anda bersetuju dengannya?

S: Boleh. Jika kita tidak bercakap tentang kemungkinan yang berpotensi ini, kita tidak akan meletakkan usaha yang mencukupi untuk membangunkan teknologi baharu untuk menyelesaikan masalah sedemikian. Masalah sedemikian wujud dalam banyak bidang yang baru muncul, dan kini orang ramai bimbang tentang keupayaan dan keselamatan kecerdasan buatan. Artikel Elizer ditulis dengan baik, tetapi sukar untuk mengikuti beberapa karyanya, terdapat beberapa isu logik, dan saya tidak menyokong sepenuhnya pandangannya.

Terdapat banyak kerja mengenai keselamatan AI lama sebelum orang percaya pada kuasa pembelajaran mendalam, model bahasa yang besar, dan saya tidak fikir terdapat kemas kini yang mencukupi dalam kawasan ini. Teori memang penting, tetapi kita perlu sentiasa belajar daripada perubahan dalam trajektori teknologi, dan kitaran ini perlu lebih padat. Saya rasa sekarang adalah masa yang sesuai untuk melihat keselamatan AI dan meneroka "penjajaran" alat dan teknologi baharu ini dengan niat manusia.

S11

L: Teknologi kecerdasan buatan berkembang dengan pantas Sesetengah orang mengatakan bahawa kita kini telah memasuki peringkat "berlepas" kecerdasan buatan. Apabila seseorang benar-benar membina kecerdasan buatan am, bagaimana kita akan mengetahui tentang perubahan ini?

S: GPT-4 tidak terlalu mengejutkan saya, tetapi ChatGPT sedikit mengejutkan saya. Sehebat GPT-4, ia belum lagi AGI. Takrifan sebenar AGI semakin penting, tetapi saya fikir ia masih sangat jauh.

Q12

L: Adakah anda rasa GPT-4 sedar?

S: Tidak, saya rasa ia masih belum sedar.

L: Saya fikir kecerdasan buatan yang benar-benar sedar seharusnya dapat memberitahu orang lain bahawa ia sedar, meluahkan kesakitannya sendiri dan emosi lain, memahami situasinya sendiri, mempunyai ingatan sendiri, dan dapat berinteraksi dengannya. orang ramai. Dan saya fikir kebolehan ini adalah kebolehan antara muka, bukan pengetahuan asas.

S: Ketua saintis kami di OpenAI, Ilya Sutskever, pernah berbincang dengan saya "Bagaimana untuk mengetahui sama ada model sedar." Beliau percaya bahawa jika kita berhati-hati melatih model pada set data tanpa menyebut pengalaman subjektif kesedaran atau apa-apa konsep yang berkaitan, maka kita menerangkan pengalaman subjektif kesedaran ini kepada model dan melihat sama ada model itu dapat memahami maklumat yang kita sampaikan.

Kecerdasan buatan umum, di manakah kita datang?

Q13

L: Chomsky dan yang lain mengkritik keupayaan "model bahasa besar" untuk mencapai kecerdasan buatan am. Apa pendapat anda tentang ini? Adakah model bahasa besar adalah laluan yang betul kepada kecerdasan buatan umum?

S: Saya rasa model bahasa besar adalah sebahagian daripada jalan ke AGI, dan kami juga memerlukan bahagian lain yang sangat penting.

L: Adakah anda fikir ejen pintar memerlukan "badan" untuk mengalami dunia?

S: Saya berhati-hati tentang perkara ini. Tetapi pada pendapat saya, sistem yang tidak boleh diintegrasikan dengan baik ke dalam pengetahuan saintifik yang diketahui tidak boleh dipanggil "superintelligence". Ia seperti mencipta sains asas baru. Untuk mencapai "super intelligence", kita perlu terus mengembangkan paradigma kelas GPT, yang masih jauh lagi.

L: Saya berpendapat bahawa dengan menukar data yang digunakan untuk melatih GPT, pelbagai kejayaan saintifik yang besar sudah boleh dicapai.

S14

L: Apabila rantaian segera semakin lama, interaksi ini sendiri akan menjadi sebahagian daripada masyarakat manusia dan berinteraksi antara satu sama lain. Bagaimana anda melihat fenomena ini?

S: Berbanding dengan fakta bahawa sistem GPT boleh menyelesaikan tugasan tertentu, yang lebih menggembirakan saya ialah manusia mengambil bahagian dalam gelung maklum balas alat ini. Kita boleh belajar lebih banyak daripada trajektori berbilang pusingan interaksi. AI akan mengembangkan dan menguatkan niat dan keupayaan manusia, yang juga akan membentuk cara orang menggunakannya. Kita mungkin tidak pernah membina AGI, tetapi menjadikan manusia lebih baik adalah kemenangan besar itu sendiri.

Atas ialah kandungan terperinci Temu bual dengan Sam Altman: GPT-4 tidak mengejutkan saya, tetapi ChatGPT mengejutkan saya. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!