Bagaimana kerja LLM: Pembelajaran Penguatkuasaan, RLHF, DeepSeek R1, Openai O1, AlphaGo

Selamat datang ke bahagian 2 dari menyelam saya yang mendalam. Jika anda belum membaca Bahagian 1, saya sangat menggalakkan anda untuk menyemaknya terlebih dahulu.

Sebelum ini, kami merangkumi dua peringkat utama latihan LLM:

1. Pra-latihan-Belajar dari dataset besar-besaran untuk membentuk model asas.
2. diselia halus (sft)-menyempurnakan model dengan contoh yang dikendalikan untuk menjadikannya berguna.

Sekarang, kita menyelam ke peringkat utama seterusnya: Pembelajaran Penguatkuasaan (RL) . Walaupun pra-latihan dan SFT mantap, RL masih berkembang tetapi telah menjadi bahagian penting dalam saluran paip latihan.

Saya telah mengambil rujukan dari YouTube 3.5 jam yang popular di Andrej Karpathy. Andrej adalah ahli pengasas Openai, pandangannya adalah emas - anda mendapat idea.

mari kita pergi?

Apakah tujuan pembelajaran tetulang (RL)?

manusia dan LLMS memproses maklumat secara berbeza. Apa yang intuitif untuk kita - seperti aritmetik asas - mungkin bukan untuk LLM, yang hanya melihat teks sebagai urutan token. Sebaliknya, LLM dapat menjana tindak balas peringkat pakar pada topik kompleks semata-mata kerana ia telah melihat contoh yang cukup semasa latihan.

Perbezaan dalam kognisi ini menjadikannya mencabar bagi annotator manusia untuk menyediakan set label "sempurna" yang secara konsisten membimbing LLM ke arah jawapan yang betul.

RL menjembatani jurang ini dengan membenarkan model untuk belajar dari pengalamannya sendiri . Daripada hanya bergantung pada label yang jelas, model meneroka urutan token yang berbeza dan menerima maklum balas - isyarat ganjaran - di mana output paling berguna. Dari masa ke masa, ia belajar untuk menyelaraskan lebih baik dengan niat manusia.

intuisi di belakang rl

LLMS adalah stokastik - yang bermaksud respons mereka tidak ditetapkan. Walaupun dengan prompt yang sama, output berbeza -beza kerana ia diambil dari taburan kebarangkalian.

kita boleh memanfaatkan rawak ini dengan menghasilkan beribu -ribu atau bahkan berjuta -juta respons yang mungkin

selari

. Fikirkannya sebagai model meneroka laluan yang berbeza - beberapa yang baik, beberapa yang buruk.

Matlamat kami adalah untuk menggalakkannya untuk mengambil jalan yang lebih baik lebih kerap. Untuk melakukan ini, kami melatih model pada urutan token yang membawa kepada hasil yang lebih baik. Tidak seperti penalaan halus yang diselia, di mana pakar manusia menyediakan data berlabel, pembelajaran tetulang membolehkan model untuk

belajar dari dirinya sendiri. Model mendapati respons yang paling baik, dan selepas setiap langkah latihan, kami mengemas kini parameternya. Dari masa ke masa, ini menjadikan model lebih cenderung untuk menghasilkan jawapan yang berkualiti tinggi apabila diberi petunjuk yang sama pada masa akan datang. Tetapi bagaimana kita menentukan respons mana yang terbaik? Dan berapa banyak RL yang harus kita lakukan? Butirannya adalah rumit, dan membuat mereka betul tidak remeh.

rl bukan "baru" - ia dapat melepasi kepakaran manusia (AlphaGo, 2016)

Contoh hebat kuasa RL ialah DeepMind's AlphaGo, AI pertama yang mengalahkan pemain Go Professional dan kemudian melampaui permainan peringkat manusia.

Dalam Kertas Alam 2016 (graf di bawah), apabila model dilatih semata-mata oleh SFT (memberikan model banyak contoh yang baik untuk meniru), model itu dapat mencapai prestasi peringkat manusia, tetapi tidak pernah melepasi .

garis bertitik mewakili prestasi Lee Sedol - pemain terbaik di dunia.

Ini kerana SFT adalah mengenai replikasi, bukan inovasi - ia tidak membenarkan model untuk menemui strategi baru di luar pengetahuan manusia. Walau bagaimanapun, RL membolehkan Alphago bermain menentang dirinya sendiri, memperbaiki strateginya, dan akhirnya

melebihi kepakaran manusia

(garis biru). RL mewakili sempadan yang menarik di AI - di mana model dapat meneroka strategi di luar imaginasi manusia ketika kita melatihnya di pelbagai masalah dan mencabar masalah untuk memperbaiki strategi pemikirannya. rl asas recap

mari kita cepat rekap komponen utama persediaan RL biasa:

ejen

-

Pembuat keputusan atau keputusan. Ia mengamati keadaan semasa (
• state ), memilih tindakan, dan kemudian mengemas kini tingkah lakunya berdasarkan hasil ( ganjaran ). Alam Sekitar - Sistem luaran di mana ejen beroperasi.
State
• - Snapshot persekitaran pada langkah tertentu t .
• Pada setiap cap waktu, ejen melakukan tindakan dalam persekitaran yang akan mengubah keadaan persekitaran menjadi yang baru. Ejen itu juga akan menerima maklum balas yang menunjukkan betapa baik atau buruk tindakan itu. maklum balas ini dipanggil A Ganjaran positif menggalakkan tingkah laku itu, dan ganjaran negatif tidak menggalakkannya.

Dengan menggunakan maklum balas dari keadaan dan tindakan yang berbeza, ejen secara beransur -ansur mempelajari strategi optimum untuk memaksimumkan jumlah ganjaran

dari masa ke masa. Dasar Dasar adalah strategi ejen. Jika ejen mengikuti dasar yang baik, ia secara konsisten akan membuat keputusan yang baik, yang membawa kepada ganjaran yang lebih tinggi dalam banyak langkah.

Dalam istilah matematik, ia adalah fungsi yang menentukan kebarangkalian output yang berlainan untuk keadaan tertentu -

(πθ (a | s))

.

Fungsi nilai

Anggaran betapa baiknya dalam keadaan tertentu, memandangkan ganjaran jangka panjang yang diharapkan. Untuk LLM, ganjaran mungkin datang dari maklum balas manusia atau model ganjaran.

Senibina pelakon-kritikal

ia adalah persediaan RL yang popular yang menggabungkan dua komponen:

1. pelakon - belajar dan mengemas kini polisi (πθ), memutuskan tindakan yang akan diambil dalam setiap negeri.
2. Critic - Menilai fungsi nilai (v (s)) untuk memberi maklum balas kepada pelakon sama ada tindakan yang dipilihnya membawa kepada hasil yang baik.

Bagaimana ia berfungsi:

pelakon
• memilih tindakan berdasarkan dasar semasa.
pengkritik
• menilai hasilnya (ganjaran negeri seterusnya) dan mengemas kini anggaran nilainya.
Maklum balas pengkritik membantu pelakon memperbaiki dasarnya supaya tindakan masa depan membawa kepada ganjaran yang lebih tinggi.

meletakkan semuanya bersama -sama untuk llms

Negeri boleh menjadi teks semasa (prompt atau perbualan), dan tindakan itu boleh menjadi token seterusnya untuk menjana. Model ganjaran (contohnya maklum balas manusia), memberitahu model betapa baik atau buruknya teks yang dihasilkan.

Dasar ini adalah strategi model untuk memilih token seterusnya, sementara fungsi nilai menganggarkan bagaimana menguntungkan konteks teks semasa, dari segi akhirnya menghasilkan respons berkualiti tinggi.

DeepSeek-R1 (diterbitkan 22 Jan 2025)

Untuk menyerlahkan kepentingan RL, mari kita meneroka DeepSeek-R1, model pemikiran yang mencapai prestasi peringkat teratas sementara baki sumber terbuka. Kertas ini memperkenalkan dua model:

DeepSeek-R1-Zero dan DeepSeek-R1.

DeepSeek-R1-Zero dilatih semata-mata melalui RL berskala besar, melangkaui penalaan yang diselia (SFT).
DeepSeek-R1 membina di atasnya, menangani cabaran yang dihadapi.

mari kita menyelam beberapa perkara utama ini.

1. RL Algo: Pengoptimuman Dasar Relatif Kumpulan (GRPO)

Satu permainan utama mengubah algoritma RL adalah pengoptimuman dasar relatif kumpulan (GRPO), varian pengoptimuman dasar proksimal yang popular (PPO). GRPO diperkenalkan dalam kertas DeepSeekmath pada Februari 2024.

mengapa grpo over ppo?

PPO berjuang dengan tugas penalaran kerana:

1. Ketergantungan pada model pengkritik.
   PPO memerlukan model pengkritik yang berasingan, dengan berkesan menggandakan ingatan dan pengiraan.
   kos pengiraan yang tinggi sebagai saluran paip RL menuntut sumber yang besar untuk menilai dan mengoptimumkan respons.
2. Penilaian Ganjaran Mutlak
Apabila anda bergantung pada ganjaran mutlak-yang bermaksud terdapat satu standard atau metrik untuk menilai sama ada jawapannya adalah "baik" atau "buruk"-sukar untuk menangkap nuansa tugas terbuka yang pelbagai di seluruh domain penalaran yang berbeza.
3. 
   

Bagaimana GRPO menangani cabaran ini:

GRPO menghapuskan model pengkritik dengan menggunakan penilaian relatif

- tanggapan dibandingkan dalam kumpulan dan bukannya dinilai oleh standard tetap.

Bayangkan pelajar menyelesaikan masalah. Daripada seorang guru yang menggred mereka secara individu, mereka membandingkan jawapan, belajar dari satu sama lain. Dari masa ke masa, prestasi menumpu ke arah kualiti yang lebih tinggi.

bagaimana GRPO sesuai dengan proses latihan keseluruhan?

GRPO mengubah bagaimana kerugian dikira sambil mengekalkan langkah -langkah latihan lain yang tidak berubah:

Kumpulkan data (tindak balas pertanyaan)

1. - untuk LLMS, pertanyaan seperti soalan - dasar lama (snapshot model yang lebih tua) menghasilkan beberapa jawapan calon untuk setiap pertanyaan
   Berikan ganjaran - Setiap tindak balas dalam kumpulan dijaringkan ("ganjaran").
   
2. mengira kerugian GRPO
3. secara tradisinya, anda akan mengira kehilangan - yang menunjukkan sisihan antara ramalan model dan label yang benar. lebih buruk? keturunan kecerunan kembali penyebaran
   
   Kemas kini dasar lama sekali -sekala untuk memadankan dasar baru . Ini menyegarkan garis dasar untuk perbandingan pusingan seterusnya.
   2. Rantaian Pemikiran (Cot)
   Latihan LLM tradisional mengikuti pra-latihan → SFT → RL. Walau bagaimanapun, DeepSeek-R1-Zero
   dilangkau sft
   , yang membolehkan model untuk meneroka penalaran COT secara langsung.

Seperti manusia yang berfikir melalui soalan yang sukar, COT membolehkan model memecahkan masalah ke dalam langkah -langkah pertengahan, meningkatkan keupayaan penalaran yang kompleks. Model Openai O1 juga memanfaatkannya, seperti yang dinyatakan dalam laporan September 2024: Prestasi O1 bertambah dengan lebih banyak RL (pengiraan masa kereta api) dan lebih banyak masa alasan (pengiraan masa ujian). DeepSeek-R1-Zero mempamerkan kecenderungan reflektif, secara autonomi menyempurnakan penalarannya.

Grafik utama (di bawah) dalam kertas menunjukkan peningkatan pemikiran semasa latihan, yang membawa kepada lebih lama (lebih banyak token), lebih terperinci dan lebih baik. Tanpa pengaturcaraan yang jelas, ia mula mengkaji semula langkah -langkah penalaran masa lalu, meningkatkan ketepatan. Ini menyoroti pemikiran rantaian yang dipikirkan sebagai harta yang muncul dalam latihan RL. Model ini juga mempunyai "momen aha" (di bawah) - contoh yang menarik tentang bagaimana RL boleh membawa kepada hasil yang tidak dijangka dan canggih.



NOTA: Tidak seperti DeepSeek-R1, Openai tidak menunjukkan rantaian pemikiran penuh pemikiran yang tepat di O1 kerana mereka bimbang tentang risiko penyulingan-di mana seseorang masuk dan cuba meniru jejak penalaran itu dan memulihkan banyak prestasi penalaran dengan hanya meniru. Sebaliknya, O1 hanya ringkasan rantai pemikiran ini.

pembelajaran tetulang dengan maklum balas manusia (RLHF)

Untuk tugas dengan output yang dapat disahkan (mis., Masalah matematik, Q & A faktual), respons AI dapat dengan mudah dinilai. Tetapi bagaimana dengan bidang seperti ringkasan atau penulisan kreatif, di mana tidak ada jawapan "betul" tunggal?
ini adalah di mana maklum balas manusia datang - tetapi pendekatan RL naif tidak dapat dilupakan.

mari kita lihat pendekatan naif dengan beberapa nombor sewenang -wenangnya.

itu satu bilion penilaian manusia yang diperlukan! Ini terlalu mahal, perlahan dan tidak dapat dilupakan. Oleh itu, penyelesaian yang lebih bijak adalah untuk melatih "model ganjaran" AI untuk mempelajari keutamaan manusia, secara dramatik mengurangkan usaha manusia.
Responses ranking juga lebih mudah dan lebih intuitif daripada pemarkahan mutlak.



Upsides of rlHf

• boleh digunakan untuk mana-mana domain, termasuk penulisan kreatif, puisi, ringkasan, dan tugas terbuka yang lain.
• output ranking lebih mudah bagi labeller manusia daripada menghasilkan output kreatif sendiri.

kelemahan rlhf

• Model ganjaran adalah penghampiran - ia mungkin tidak mencerminkan keutamaan manusia dengan sempurna.
• rl baik dalam permainan model ganjaran - jika berjalan terlalu lama, model mungkin mengeksploitasi kelemahan, menghasilkan output yang tidak masuk akal yang masih mendapat skor tinggi.

Perhatikan bahawa RLHF tidak sama dengan RL tradisional. Untuk empirikal, domain yang dapat disahkan (mis. Matematik, pengekodan), RL boleh berjalan selama -lamanya dan menemui strategi novel. RLHF, sebaliknya, lebih seperti langkah penalaan halus untuk menyelaraskan model dengan keutamaan manusia. Kesimpulan

Dan itulah bungkus! Saya harap anda menikmati bahagian 2? Sekiranya anda belum membaca Bahagian 1 - periksa di sini.

Ada soalan atau idea untuk apa yang harus saya sampaikan seterusnya? Jatuhkan mereka dalam komen - Saya suka mendengar pendapat anda. Jumpa anda dalam artikel seterusnya!

Atas ialah kandungan terperinci Bagaimana kerja LLM: Pembelajaran Penguatkuasaan, RLHF, DeepSeek R1, Openai O1, AlphaGo. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!