Memahami evolusi chatgpt: Bahagian 2 – GPT-2 dan GPT-3

Artikel ini meneroka evolusi model GPT OpenAI, yang memberi tumpuan kepada GPT-2 dan GPT-3. Model-model ini mewakili peralihan yang signifikan dalam pendekatan kepada latihan model bahasa besar (LLM), bergerak jauh dari paradigma "pra-latihan ditambah dengan baik" tradisional ke arah pendekatan "pra-latihan sahaja".

Peralihan ini didorong oleh pemerhatian keupayaan sifar GPT-1-keupayaannya untuk melaksanakan tugas yang tidak dilatih secara khusus. Untuk memahami ini dengan lebih baik, mari kita menyelidiki konsep utama:

Bahagian 1: Peralihan paradigma dan pembolehnya

Keterbatasan penalaan halus, terutamanya untuk pelbagai tugas NLP yang tidak kelihatan, memotivasi langkah ke arah pembelajaran tugas-agnostik. Model-model besar yang menyempurnakan pada dataset kecil risiko terlalu banyak dan penyebaran yang lemah. Keupayaan manusia untuk mempelajari tugas bahasa tanpa dataset yang diawasi secara besar -besaran menyokong peralihan ini.

tiga elemen utama memudahkan peralihan paradigma ini:

Pembelajaran Task-Agnostik (Meta-Learning):
• Pendekatan ini melengkapkan model dengan kemahiran yang luas semasa latihan, membolehkannya menyesuaikan diri dengan cepat ke tugas-tugas baru tanpa penalaan yang lebih baik. Model-agnostik meta-pembelajaran (MAML) mencontohkan konsep ini.

Hipotesis Skala:

Hipotesis ini menunjukkan bahawa model yang lebih besar dilatih pada dataset yang lebih besar mempamerkan keupayaan muncul - kebolehan yang kelihatan tidak disangka -sangka sebagai saiz model dan peningkatan data. GPT-2 dan GPT-3 berkhidmat sebagai eksperimen untuk menguji ini.

• Pembelajaran dalam konteks:

  Teknik ini melibatkan menyediakan model dengan arahan bahasa semulajadi dan beberapa contoh (demonstrasi) pada masa kesimpulan, membolehkannya mempelajari tugas dari contoh-contoh ini tanpa kemas kini kecerunan. Zero-shot, satu pukulan, dan pembelajaran beberapa-tembakan mewakili tahap peruntukan contoh yang berbeza.
Bahagian 2: GPT-2-Batu loncatan

GPT-2 yang dibina atas seni bina GPT-1 dengan beberapa penambahbaikan: penempatan biasa diubahsuai, penskalaan berat badan untuk lapisan sisa, perbendaharaan kata yang diperluaskan (50257), peningkatan saiz konteks (1024 token), dan saiz batch yang lebih besar (512). Empat model dilatih dengan jumlah parameter dari 117m hingga 1.5b. Dataset latihan, WEBTEXT, terdiri daripada kira -kira 45m pautan. Walaupun GPT-2 menunjukkan hasil yang menjanjikan, terutamanya dalam pemodelan bahasa, ia tertinggal di belakang model canggih mengenai tugas seperti pemahaman dan terjemahan.

Bahagian 3: GPT-3-Leap Forward

GPT-3 mengekalkan seni bina yang sama kepada GPT-2, terutamanya berbeza dalam penggunaan corak perhatian yang padat dan jarang. Lapan model dilatih, dari 125m hingga 175b parameter. Data latihan jauh lebih besar dan lebih pelbagai, dengan pengkhususan dan pembobotan dataset yang teliti berdasarkan kualiti.

Penemuan utama dari penilaian GPT-3 menunjukkan keberkesanan hipotesis skala dan pembelajaran dalam konteks. Prestasi berskala dengan lancar dengan peningkatan pengiraan, dan model yang lebih besar menunjukkan prestasi unggul di seluruh sifar-shot, satu pukulan, dan beberapa tetapan pembelajaran-tembakan.

Bahagian 4: Kesimpulan

GPT-2 dan GPT-3 mewakili kemajuan yang signifikan dalam pembangunan LLM, membuka jalan untuk penyelidikan masa depan ke kemampuan yang muncul, paradigma latihan, pembersihan data, dan pertimbangan etika. Kejayaan mereka menyoroti potensi pembelajaran tugas-agnostik dan kuasa meningkatkan saiz model dan data latihan. Penyelidikan ini terus mempengaruhi perkembangan model berikutnya, seperti GPT-3.5 dan InstructGPT.

Untuk artikel yang berkaitan dalam siri ini, lihat:

Bahagian 1: Memahami Evolusi CHATGPT: Bahagian 1-Pandangan yang mendalam di GPT-1 dan apa yang mengilhamkannya.

• Bahagian 3: Wawasan dari Codex dan InstructGpt

Atas ialah kandungan terperinci Memahami evolusi chatgpt: Bahagian 2 – GPT-2 dan GPT-3. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!