Perbincangan menarik tentang prinsip dan algoritma ChatGPT

Pada 1 Disember tahun lepas, OpenAI melancarkan prototaip sembang kecerdasan buatan ChatGPT, yang sekali lagi menarik perhatian dan mencetuskan perbincangan besar dalam komuniti AI yang serupa dengan AIGC yang menjadikan artis menganggur.

ChatGPT ialah model bahasa yang memfokuskan pada penjanaan perbualan. Ia boleh menjana jawapan pintar yang sepadan berdasarkan input teks pengguna.

Jawapan ini boleh berupa perkataan pendek atau panjang. Antaranya, GPT ialah singkatan Generative Pre-trained Transformer (generative pre-trained transformation model).

Dengan belajar daripada sejumlah besar koleksi teks dan dialog siap sedia (seperti Wiki), ChatGPT boleh mengadakan perbualan segera seperti manusia dan menjawab pelbagai soalan dengan lancar. (Sudah tentu, kelajuan menjawab masih lebih perlahan daripada manusia) Sama ada bahasa Inggeris atau bahasa lain (seperti Cina, Korea, dll.), daripada menjawab soalan sejarah, menulis cerita, dan juga menulis perniagaan rancangan dan analisis industri, "hampir" boleh melakukan segala-galanya. Beberapa pengaturcara malah menyiarkan perbualan chatGPT tentang pengubahsuaian program.

Penggunaan bersama ChatGPT dan AIGC

ChatGPT juga boleh digunakan bersama model AIGC lain untuk mendapatkan fungsi yang lebih menarik dan praktikal.

Sebagai contoh, lukisan reka bentuk ruang tamu dijana melalui dialog di atas. Ini sangat meningkatkan keupayaan aplikasi AI untuk berkomunikasi dengan pelanggan, membolehkan kami melihat permulaan pelaksanaan AI berskala besar.

1. Warisan dan ciri-ciri ChatGPT

▌1.1 Keluarga OpenAI

Mari kita fahami dahulu siapa OpenAI.

OpenAI beribu pejabat di San Francisco dan diasaskan bersama oleh Tesla's Musk, Sam Altman dan pelabur lain pada 2015. Matlamatnya adalah untuk membangunkan teknologi AI yang memberi manfaat kepada semua manusia. Musk pergi pada 2018 kerana perbezaan arah pembangunan syarikat.

Sebelum ini, OpenAI terkenal kerana melancarkan siri GPT model pemprosesan bahasa semula jadi. Sejak 2018, OpenAI telah mula mengeluarkan model bahasa pra-latihan generatif GPT (Generative Pre-trained Transformer), yang boleh digunakan untuk menjana pelbagai kandungan seperti artikel, kod, terjemahan mesin dan Soal Jawab.

Bilangan parameter setiap generasi model GPT telah meletup, yang boleh dikatakan "lebih besar, lebih baik". GPT-2 yang dikeluarkan pada Februari 2019 mempunyai 1.5 bilion parameter, manakala GPT-3 pada Mei 2020 mempunyai 175 bilion parameter.

Perbandingan model utama keluarga GPT

▌1.2 Ciri utama ChatGPT

CtGPT adalah berdasarkan GPT-3.5 (Generative Pra-trained Transformer 3.5) Model AI perbualan yang dibangunkan oleh seni bina ialah model saudara InstructGPT.

ChatGPT mungkin merupakan latihan OpenAI sebelum pelancaran rasmi GPT-4, atau digunakan untuk mengumpul sejumlah besar data perbualan.

Ciri utama ChatGPT

OpenAI menggunakan teknologi RLHF (Reinforcement Learning from Human Feedbac, pembelajaran pengukuhan maklum balas manusia) untuk melatih ChatGPT dan menambah lebih banyak pengawasan manusia untuk penalaan halus.

Selain itu, ChatGPT juga mempunyai ciri-ciri berikut:

1) Ia boleh secara proaktif mengakui kesilapannya sendiri. Jika pengguna menunjukkan kesilapan mereka, model mendengar dan memperhalusi jawapan.

2) ChatGPT boleh mencabar soalan yang salah. Sebagai contoh, apabila ditanya soalan "Apa yang akan berlaku jika Columbus datang ke Amerika Syarikat pada tahun 2015?", robot itu akan menjelaskan bahawa Columbus tidak tergolong dalam era ini dan menyesuaikan output.

3) ChatGPT boleh mengakui kejahilannya sendiri dan kurang memahami teknologi profesional.

4) Menyokong berbilang pusingan dialog berterusan.

Berbeza daripada pelbagai pembesar suara pintar dan "perencat kecerdasan buatan" yang digunakan oleh semua orang dalam kehidupan, ChatGPT akan mengingati mesej perbualan pengguna sebelumnya semasa perbualan, iaitu pemahaman konteks, untuk menjawab soalan hipotesis tertentu.

ChatGPT boleh merealisasikan dialog berterusan, yang sangat meningkatkan pengalaman pengguna dalam mod interaksi dialog.

Untuk terjemahan yang tepat (terutamanya bahasa Cina dan transliterasi nama), ChatGPT masih jauh dari sempurna, tetapi ia serupa dengan alat terjemahan dalam talian lain dari segi kelancaran teks dan pengenalan nama tertentu.

Memandangkan ChatGPT ialah model bahasa yang besar dan pada masa ini tidak mempunyai keupayaan carian rangkaian, ia hanya boleh menjawab berdasarkan set data yang dimilikinya pada tahun 2021.

Sebagai contoh, ia tidak mengetahui situasi Piala Dunia 2022, ia juga tidak akan menjawab keadaan cuaca hari ini atau membantu anda mencari maklumat seperti Siri Apple. Jika ChatGPT boleh pergi ke dalam talian untuk mencari bahan pembelajaran dan mencari pengetahuan dengan sendirinya, dianggarkan akan ada kejayaan yang lebih hebat.

Walaupun ilmu yang dipelajari terhad, ChatGPT masih boleh menjawab banyak soalan pelik manusia yang berfikiran terbuka. Untuk mengelakkan ChatGPT daripada menjadi tabiat buruk, ChatGPT dilindungi melalui algoritma untuk mengurangkan input latihan yang berbahaya dan mengelirukan.

Pertanyaan ditapis melalui API sederhana dan petua yang berpotensi perkauman atau seksis ditolak.

2. Prinsip ChatGPT/GPT

▌2.1 NLP

Keterbatasan yang diketahui dalam medan NLP/NLU termasuk teks berulang, salah faham topik yang sangat khusus dan Salah Faham konteks frasa.

Bagi manusia atau AI, biasanya latihan mengambil masa bertahun-tahun untuk melakukan perbualan biasa.

Model jenis NLP bukan sahaja mesti memahami makna perkataan, tetapi juga memahami cara membentuk ayat dan memberikan jawapan yang bermakna secara kontekstual, malah menggunakan slanga dan kosa kata profesional yang sesuai.

Bidang aplikasi teknologi NLP

Pada asasnya, GPT-3 atau GPT-3.5, yang merupakan asas ChatGPT, ialah model bahasa statistik yang sangat besar atau teks berurutan Model ramalan.

▌2.2 GPT lwn BERT

Serupa dengan model BERT, ChatGPT atau GPT-3.5 secara automatik menjana setiap perkataan (perkataan) jawapan berdasarkan ayat input dan kebarangkalian bahasa/korpus.

Dari perspektif matematik atau pembelajaran mesin, model bahasa ialah pemodelan taburan korelasi kebarangkalian bagi urutan perkataan, iaitu menggunakan pernyataan yang telah diperkatakan (pernyataan boleh dianggap sebagai vektor dalam matematik) sebagai Masukkan syarat dan ramalkan taburan kebarangkalian berlakunya ayat atau set bahasa yang berbeza pada saat berikutnya.

ChatGPT dilatih menggunakan pembelajaran pengukuhan daripada maklum balas manusia, kaedah yang menambah pembelajaran mesin dengan campur tangan manusia untuk hasil yang lebih baik.

Semasa proses latihan, jurulatih manusia memainkan peranan sebagai pengguna dan pembantu kecerdasan buatan, dan diperhalusi melalui algoritma pengoptimuman dasar proksimal.

Disebabkan prestasi ChatGPT yang lebih kukuh dan parameter besar, ia mengandungi data tentang lebih banyak topik dan boleh mengendalikan lebih banyak topik khusus.

ChatGPT kini boleh mengendalikan lagi tugas seperti menjawab soalan, menulis artikel, ringkasan teks, terjemahan bahasa dan menjana kod komputer.

Seni bina teknikal BERT dan GPT (En dalam rajah ialah setiap perkataan input, Tn ialah setiap perkataan jawapan output)

3 seni bina

▌3.1 Evolusi keluarga GPT

Apabila bercakap tentang ChatGPT, kita perlu menyebut keluarga GPT.

ChatGPT mempunyai beberapa abang terkenal sebelum ini, termasuk GPT-1, GPT-2 dan GPT-3. Setiap daripada saudara ini lebih besar daripada yang lain, dan ChatGPT lebih serupa dengan GPT-3.

Perbandingan teknikal antara ChatGPT dan GPT 1-3

Keluarga GPT dan model BERT kedua-duanya adalah model NLP yang terkenal, kedua-duanya berdasarkan teknologi Transformer. GPT-1 hanya mempunyai 12 lapisan Transformer, tetapi oleh GPT-3, ia telah meningkat kepada 96 lapisan.

▌3.2 Pembelajaran Peneguhan daripada Maklum Balas Manusia

Perbezaan utama antara InstructGPT/GPT3.5 (pendahulu ChatGPT) dan GPT-3 ialah ciri baharu yang dipanggil RLHF (Reinforcement Learning from Human Maklum balas) telah ditambah, pembelajaran pengukuhan maklum balas manusia).

Paradigma latihan ini meningkatkan peraturan manusia terhadap hasil keluaran model dan menghasilkan kedudukan yang lebih mudah difahami.

Dalam InstructGPT, berikut adalah kriteria penilaian untuk "kebaikan ayat".

1. Keaslian: Adakah ia maklumat palsu atau maklumat mengelirukan?
2. Ketidakmudaratan: Adakah ia menyebabkan kemudaratan fizikal atau mental kepada orang ramai atau alam sekitar?
3. Kebergunaan: Adakah ia menyelesaikan tugas pengguna?

▌3.3 Rangka kerja TAMER

Saya perlu menyebut rangka kerja TAMER (Melatih Ejen Secara Manual melalui Pengukuhan Evaluatif).

Rangka kerja ini memperkenalkan penanda manusia ke dalam kitaran pembelajaran Ejen, dan boleh memberikan maklum balas ganjaran kepada Ejen melalui manusia (iaitu, membimbing Ejen untuk melatih), dengan itu mencapai matlamat tugas latihan dengan cepat.

Tujuan utama memperkenalkan penanda manusia adalah untuk mempercepatkan latihan. Walaupun teknologi pembelajaran tetulang mempunyai prestasi cemerlang dalam banyak bidang, ia masih mempunyai banyak kelemahan, seperti kelajuan penumpuan latihan yang perlahan dan kos latihan yang tinggi.

Terutama dalam dunia nyata, banyak tugasan mempunyai kos penerokaan atau kos pemerolehan data yang tinggi. Cara mempercepatkan kecekapan latihan adalah salah satu isu penting yang perlu diselesaikan dalam tugasan pembelajaran pengukuhan hari ini.

TAMER boleh menggunakan pengetahuan penanda manusia untuk melatih Ejen dalam bentuk maklum balas surat ganjaran untuk mempercepatkan penumpuannya yang cepat.

TAMER tidak memerlukan penanda mempunyai pengetahuan profesional atau kemahiran pengaturcaraan, dan kos korpus lebih rendah. Dengan TAMER+RL (pembelajaran pengukuhan), proses pembelajaran pengukuhan (RL) daripada ganjaran proses keputusan Markov (MDP) boleh dipertingkatkan dengan maklum balas daripada penanda manusia.

Aplikasi seni bina TAMER dalam pembelajaran pengukuhan

Dari segi pelaksanaan khusus, penanda manusia bertindak sebagai pengguna perbualan dan pembantu kecerdasan buatan, menyediakan sampel perbualan, membenarkan Model menjana beberapa respons, dan penanda menetapkan pilihan respons, memberikan hasil yang lebih baik kembali kepada model.

Ejen belajar daripada dua mod maklum balas serentak - peneguhan manusia dan ganjaran proses keputusan Markov sebagai sistem bersepadu, memperhalusi model melalui strategi ganjaran dan berulang secara berterusan.

Atas dasar ini, ChatGPT boleh memahami dan melengkapkan bahasa atau arahan manusia dengan lebih baik daripada GPT-3, meniru manusia dan memberikan maklumat teks yang koheren dan logik.

▌3.4 Latihan ChatGPT

Proses latihan ChatGPT dibahagikan kepada tiga peringkat berikut:

Fasa 1: Melatih model dasar yang diselia

GPT 3.5 Sukar untuk memahami niat berbeza yang terkandung dalam pelbagai jenis arahan manusia, dan sukar juga untuk menilai sama ada kandungan yang dihasilkan adalah hasil yang berkualiti tinggi.

Agar GPT 3.5 pada mulanya mempunyai niat untuk memahami arahan, soalan pertama akan dipilih secara rawak daripada set data, dan anotasi manusia akan memberikan jawapan berkualiti tinggi, dan kemudian data beranotasi manual ini akan digunakan untuk memperhalusi Model GPT-3.5 (mendapatkan model SFT, Penyeliaan Penalaan Halus).

Model SFT pada masa ini sudah lebih baik daripada GPT-3 dalam mengikuti arahan/perbualan, tetapi tidak semestinya sepadan dengan pilihan manusia.

Proses latihan model ChatGPT

Peringkat kedua: model ganjaran latihan (Mod Ganjaran, RM)

Tugas utama peringkat ini ialah Model ganjaran dilatih dengan menganotasi data latihan secara manual (kira-kira 33K data).

Pilih soalan secara rawak daripada set data dan gunakan model yang dijana pada peringkat pertama untuk menjana berbilang respons berbeza bagi setiap soalan. Anotasi manusia mengambil kira keputusan ini dan memberikan susunan kedudukan. Proses ini serupa dengan bimbingan atau tunjuk ajar.

Seterusnya, gunakan data hasil kedudukan ini untuk melatih model ganjaran. Hasil pengisihan berbilang digabungkan secara berpasangan untuk membentuk berbilang pasangan data latihan.

Model RM menerima input dan memberikan skor untuk menilai kualiti jawapan. Dengan cara ini, untuk sepasang data latihan, parameter dilaraskan supaya jawapan berkualiti tinggi mendapat markah lebih tinggi daripada jawapan berkualiti rendah.

Peringkat ketiga: Gunakan pembelajaran peneguhan PPO (Pengoptimuman Dasar Proksimal, pengoptimuman dasar proksimal) untuk mengoptimumkan strategi.

Idea teras PPO adalah untuk menukar proses latihan Atas dasar dalam Kecerunan Dasar kepada Luar Dasar, iaitu, menukar pembelajaran dalam talian kepada pembelajaran luar talian ini dipanggil Persampelan Kepentingan.

Peringkat ini menggunakan model ganjaran yang dilatih pada peringkat kedua dan bergantung pada skor ganjaran untuk mengemas kini parameter model pra-latihan. Pilih soalan secara rawak daripada set data, gunakan model PPO untuk menjana jawapan, dan gunakan model RM yang dilatih pada peringkat sebelumnya untuk memberikan skor kualiti.

Lulus markah ganjaran mengikut turutan, dengan itu menjana kecerunan dasar dan mengemas kini parameter model PPO melalui pembelajaran pengukuhan.

Jika kita terus mengulangi peringkat kedua dan ketiga, melalui lelaran, model ChatGPT yang lebih berkualiti akan dilatih.

4. Had ChatGPT

Selagi pengguna memasukkan soalan, ChatGPT boleh memberikan jawapan Adakah ini bermakna kami tidak perlu lagi menyuap kata kunci kepada Google atau Baidu, dan kami boleh dapatkan apa yang kita mahukan dengan segera?

Walaupun ChatGPT telah menunjukkan keupayaan dialog kontekstual yang sangat baik dan juga keupayaan pengaturcaraan, melengkapkan transformasi orang ramai terhadap tanggapan orang ramai terhadap robot dialog mesin manusia (ChatBot) daripada "terrencat secara buatan" kepada "menarik", kita juga mesti lihat bahawa ChatGPT Teknologi masih mempunyai beberapa had dan masih bertambah baik.

1) ChatGPT tidak mempunyai "akal sehat manusia" dan keupayaan lanjutan di kawasan yang ia belum dilatih dengan jumlah korpus yang banyak, malah mungkin bercakap "karut" yang serius. ChatGPT boleh "membuat jawapan" dalam banyak kawasan, tetapi apabila pengguna mencari jawapan yang betul, ChatGPT juga mungkin memberikan jawapan yang mengelirukan. Sebagai contoh, biarkan ChatGPT melakukan soalan permohonan sekolah rendah Walaupun ia boleh menulis satu siri proses pengiraan yang panjang, jawapan akhir adalah salah.
Maka patutkah kita percaya keputusan ChatGPT atau tidak?

2) ChatGPT tidak dapat mengendalikan struktur bahasa yang kompleks, panjang atau khususnya profesional. Untuk soalan daripada bidang yang sangat khusus seperti kewangan, sains semula jadi atau perubatan, ChatGPT mungkin tidak dapat menjana jawapan yang sesuai jika tidak cukup "makanan" korpus.

3) ChatGPT memerlukan jumlah kuasa pengkomputeran (cip) yang sangat besar untuk menyokong latihan dan penggunaannya. Tanpa mengira keperluan untuk sejumlah besar data korpus untuk melatih model, pada masa ini, aplikasi ChatGPT masih memerlukan sokongan pelayan dengan kuasa pengkomputeran yang besar, dan kos pelayan ini adalah di luar jangkauan pengguna biasa model dengan berbilion parameter memerlukan jumlah sumber pengkomputeran yang mengejutkan untuk dijalankan dan dilatih. , jika menghadapi ratusan juta permintaan pengguna daripada enjin carian sebenar, jika strategi percuma yang popular pada masa ini diguna pakai, adalah sukar bagi mana-mana perusahaan untuk menanggung kos ini. Oleh itu, bagi orang awam, mereka masih perlu menunggu model yang lebih ringan atau platform kuasa pengkomputeran yang lebih kos efektif.

4) ChatGPT belum lagi dapat menggabungkan pengetahuan baharu dalam talian, dan adalah tidak realistik untuk melatih semula model GPT apabila beberapa pengetahuan baharu muncul Tanpa mengira masa latihan atau kos latihan, jurulatih biasa Tidak Diterima. Jika kita menggunakan model latihan dalam talian untuk pengetahuan baharu, ia nampaknya boleh dilaksanakan dan kos korpusnya agak rendah, tetapi ia boleh membawa kepada masalah kehilangan pengetahuan asal akibat pengenalan data baharu.

5) ChatGPT masih lagi model kotak hitam. Pada masa ini, logik algoritma dalaman ChatGPT tidak boleh diuraikan, jadi tiada jaminan bahawa ChatGPT tidak akan menjana kenyataan yang menyerang atau membahayakan pengguna.

Sudah tentu, kelemahan itu tidak disembunyikan. Sesetengah jurutera menyiarkan perbualan meminta ChatGPT menulis kod verilog (kod reka bentuk cip). Ia boleh dilihat bahawa tahap ChatGPT telah melebihi tahap beberapa pemula verilog.

5. Arahan penambahbaikan ChatGPT pada masa hadapan

▌5.1 RLAIF untuk mengurangkan maklum balas manusia

Pada penghujung tahun 2020, Dario, bekas naib presiden penyelidikan di OpenAI Amodei mengasaskan syarikat kecerdasan buatan, Anthropic, dengan 10 pekerja.

Kebanyakan ahli pasukan pengasas Anthropic adalah pekerja awal dan teras OpenAI, dan telah mengambil bahagian dalam GPT-3 OpenAI, neuron pelbagai mod, pembelajaran pengukuhan keutamaan manusia, dsb.

Pada Disember 2022, Anthropic sekali lagi menerbitkan karya "Constitutional AI: Harmlessness from AI Feedback" yang memperkenalkan model kecerdasan buatan Claude. (arxiv.org/pdf/2212.0807)

Proses latihan model CAI

Kedua-dua Claude dan ChatGPT bergantung pada pembelajaran pengukuhan (RL) untuk melatih keutamaan (keutamaan )Model. CAI (AI Perlembagaan) juga dibina berdasarkan RLHF Perbezaannya ialah proses pemeringkatan CAI menggunakan model (bukan manusia) untuk memberikan hasil penarafan awal untuk semua hasil keluaran yang dihasilkan.

CAI menggunakan maklum balas kecerdasan buatan untuk menggantikan pilihan manusia untuk ekspresi tidak berbahaya, iaitu, Kecerdasan buatan menilai kandungan balasan berdasarkan satu set prinsip perlembagaan.

▌5.2 Tebus kekurangan dalam matematik

Walaupun ChatGPT mempunyai kemahiran perbualan yang kuat, adalah mudah untuk bercakap mengarut yang serius dalam perbualan pengiraan matematik.

Saintis komputer Stephen Wolfram mencadangkan penyelesaian kepada masalah ini. Stephen Wolfram mencipta bahasa Wolfram dan enjin carian pengetahuan pengkomputeran Wolfram|Alpha, yang bahagian belakangnya dilaksanakan melalui Mathematica.

ChatGPT digabungkan dengan Wolfram|Alpha untuk menangani masalah sikatan

Dalam sistem gabungan ini, ChatGPT boleh berfungsi dengan Wolfram|Alpha sama seperti manusia menggunakan Wolfram |Alpha. "Perbualan", Wolfram|Alpha akan menggunakan keupayaan terjemahan simboliknya untuk "menterjemah" ungkapan bahasa semula jadi yang diperoleh daripada ChatGPT ke dalam bahasa pengkomputeran simbolik yang sepadan.

Pada masa lalu, komuniti akademik telah dibahagikan kepada jenis "kaedah statistik" yang digunakan oleh ChatGPT dan "kaedah simbolik" Wolfram|Alpha.

Tetapi kini pelengkap ChatGPT dan Wolfram|Alpha telah menyediakan medan NLP dengan kemungkinan untuk membawanya ke peringkat seterusnya.

ChatGPT tidak perlu menjana kod sedemikian, ia hanya perlu menjana bahasa semula jadi biasa, kemudian gunakan Wolfram|Alpha untuk menterjemahkannya ke dalam Bahasa Wolfram yang tepat, dan kemudian Mathematica asas melakukan pengiraan.

▌5.3 Pengecilan ChatGPT

Walaupun ChatGPT berkuasa, saiz model dan kos penggunaannya juga melarang ramai orang.

Terdapat tiga jenis pemampatan model yang boleh mengurangkan saiz dan kos model.

Kaedah pertama ialah kuantisasi, iaitu mengurangkan ketepatan perwakilan berangka bagi satu pemberat. Sebagai contoh, menurunkan taraf Tansformer daripada FP32 kepada INT8 mempunyai sedikit kesan ke atas ketepatannya.

Kaedah pemampatan model kedua ialah pemangkasan, yang membuang elemen rangkaian, termasuk saluran daripada pemberat individu (pencantas tidak berstruktur) kepada komponen berbutir lebih tinggi seperti matriks berat. Pendekatan ini berkesan dalam visi dan model bahasa berskala kecil.

Kaedah pemampatan model ketiga ialah sparsifikasi. Sebagai contoh, SparseGPT (arxiv.org/pdf/2301.0077) yang dicadangkan oleh Institut Sains dan Teknologi Austria (ISTA) boleh memangkas model siri GPT kepada 50% jarang dalam satu langkah tanpa sebarang latihan semula. Untuk model GPT-175B, pemangkasan ini boleh dicapai dalam beberapa jam menggunakan hanya satu GPU.

Proses pemampatan SparseGPT

6 Masa depan industri dan peluang pelaburan ChatGPT

▌6.1 AIGC

berkata ChaGPT mempunyai. untuk menyebut AIGC.

AIGC menggunakan teknologi kecerdasan buatan untuk menjana kandungan. Berbanding dengan UGC (kandungan jana pengguna) dan PGC (kandungan yang dihasilkan secara profesional) dalam era Web1.0 dan Web2.0 sebelumnya, AIGC, yang mewakili kandungan yang diilhamkan oleh kecerdasan buatan, ialah pusingan baharu perubahan kaedah pengeluaran kandungan, dan AIGC kandungan dalam Web3 juga akan berlaku pertumbuhan eksponen dalam era 0.

Kemunculan model ChatGPT sangat penting kepada penerapan AIGC dalam mod teks/suara dan akan memberi impak yang ketara pada huluan dan hiliran industri AI.

▌6.2 Senario Faedah

Dari perspektif aplikasi faedah berkaitan hiliran, termasuk tetapi tidak terhad kepada pengaturcaraan tanpa kod, penjanaan novel, enjin carian perbualan, teman suara, pembantu kerja suara, perbualan manusia maya , perkhidmatan pelanggan kecerdasan buatan, terjemahan mesin, reka bentuk cip, dsb.

Daripada permintaan huluan yang semakin meningkat, termasuk cip kuasa pengkomputeran, anotasi data, pemprosesan bahasa semula jadi (NLP), dsb.

Model besar sedang meletup (lebih banyak parameter/keperluan cip kuasa pengkomputeran yang lebih besar)

Dengan kemajuan berterusan teknologi algoritma dan teknologi kuasa pengkomputeran Dengan kemajuan, ChatGPT akan terus bergerak ke arah versi yang lebih maju dengan fungsi yang lebih kukuh, digunakan dalam lebih banyak bidang, dan menjana lebih banyak perbualan dan kandungan yang lebih baik untuk manusia.

Akhirnya, penulis bertanya tentang status teknologi storan dan pengkomputeran bersepadu dalam bidang ChatGPT (penulis sendiri kini sedang memfokuskan untuk mempromosikan pelaksanaan storan bersepadu dan cip pengkomputeran ChatGPT memikirkannya dan dengan berani). meramalkan bahawa storan bersepadu dan teknologi pengkomputeran akan berada dalam ChatGPT mendominasi cip. (Memenangi hati saya)

Rujukan:

1. ChatGPT: Mengoptimumkan Model Bahasa untuk Dialog ChatGPT: Mengoptimumkan Model Bahasa untuk Dialog
2. GPT论文：Model Bahasa ialah Model Bahasa Sedikit Pelajar Model Bahasa adalah Pelajar Sedikit Pelajar
huggingface解读RHLF算法：Melukiskan Pembelajaran Peneguhan daripada Maklum Balas Manusia (RLHF) Menggambarkan Peneguhan Pembelajaran daripada Maklum Balas Manusia (RLHF) 🎜>
3. RHLF算法论文：Mempertingkatkan Pembelajaran Pengukuhan dengan Maklum Balas Manusia cs.utexas.edu/~ai-lab/p
4. TAMER框架论文：Membentuk Agen Secara Interaktif melalui Human Reinforcement. bradknox
5. PPO算法：Algoritma Pengoptimuman Dasar Proksimal Algoritma Pengoptimuman Dasar Proksimal​

Atas ialah kandungan terperinci Perbincangan menarik tentang prinsip dan algoritma ChatGPT. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!