Pembelajaran Pengukuhan: Pengenalan dengan contoh Python

pembelajaran tetulang (RL): menyelam mendalam ke dalam interaksi ejen-persekitaran

model pembelajaran tetulang asas dan maju (RL) sering melepasi model bahasa besar semasa dalam persamaan mereka dengan AI fiksyen sains. Artikel ini menerangkan bagaimana RL membolehkan ejen untuk menaklukkan tahap yang mencabar di Super Mario.

Pada mulanya, ejen tidak mempunyai pengetahuan permainan: kawalan, mekanik perkembangan, halangan, dan keadaan menang. Ia belajar semua ini secara autonomi melalui algoritma pembelajaran tetulang, tanpa campur tangan manusia.

Kekuatan RL terletak pada menyelesaikan masalah tanpa penyelesaian yang telah ditetapkan atau pengaturcaraan yang jelas, selalunya dengan keperluan data yang minimum. Ini menjadikannya memberi kesan kepada pelbagai bidang:

Kenderaan Autonomi:
• Ejen RL Mempelajari strategi memandu yang optimum berdasarkan peraturan lalu lintas dan jalan masa nyata.
Robotik:
• Robot Master Tugas Kompleks dalam Persekitaran Dinamik Melalui Latihan RL.
Permainan AI:
• Teknik RL membolehkan ejen AI membangunkan strategi canggih dalam permainan seperti Go dan Starcraft II.
RL adalah bidang yang pesat berkembang dengan potensi yang besar. Aplikasi masa depan dijangkakan dalam pengurusan sumber, penjagaan kesihatan, dan pendidikan yang diperibadikan. Tutorial ini memperkenalkan asas RL, menerangkan konsep teras seperti ejen, persekitaran, tindakan, negeri, ganjaran, dan banyak lagi.

Ejen dan Alam Sekitar: Perspektif Kucing

Pertimbangkan latihan kucing, bob, untuk menggunakan pos menggaru dan bukan perabot. Bob adalah ejen

, pelajar dan pembuat keputusan. Bilik adalah persekitaran , menyampaikan cabaran (perabot) dan matlamat (menggaru jawatan). Persekitaran RL dikategorikan sebagai:

diskret:

bilik yang mudah, seperti permainan berasaskan grid, mengehadkan pergerakan Bob dan variasi bilik.
• berterusan:
Bilik dunia nyata menawarkan kemungkinan berhampiran untuk susunan perabot dan tindakan Bob.
• Contoh bilik kami adalah persekitaran
statik

(perabot tetap tetap). Persekitaran

dinamik , seperti tahap super Mario, perubahan dari masa ke masa, meningkatkan kerumitan pembelajaran. Tindakan dan Negeri: Menentukan kemungkinan

Ruang Negeri

merangkumi semua konfigurasi ejen-persekitaran yang mungkin. Saiz bergantung pada jenis persekitaran:

terhingga:

Persekitaran diskret mempunyai bilangan negeri yang terhad (mis., Permainan papan).
• Infinite:
Persekitaran yang berterusan mempunyai ruang negara yang tidak terkawal (mis., Robot, senario dunia nyata).
ruang tindakan

mewakili semua tindakan ejen yang mungkin. Sekali lagi, saiznya bergantung kepada persekitaran:

• diskret: tindakan terhad (mis., Atas, ke bawah, kiri, kanan).
• berterusan: pelbagai tindakan yang lebih luas (mis., Sebarang arah, melompat).

setiap tindakan beralih ke persekitaran ke keadaan baru.

ganjaran, langkah masa, dan episod: mengukur kemajuan

ganjaran memberi insentif kepada ejen. Dalam catur, menangkap sekeping adalah positif; Menerima cek adalah negatif. Untuk Bob, merawat ganjaran tindakan positif (menggunakan jawatan menggaru), manakala squirts air menghukum tindakan negatif (menggaru perabot).

Langkah masa Ukur perjalanan pembelajaran ejen. Setiap langkah melibatkan tindakan, mengakibatkan keadaan baru dan ganjaran.

Episode terdiri daripada urutan langkah masa, bermula dalam keadaan lalai dan berakhir apabila matlamat dicapai atau ejen gagal.

Exploration vs. Exploitation: Mengimbangi Akta

Ejen mesti mengimbangi Exploration (mencuba tindakan baru) dan eksploitasi (menggunakan tindakan terbaik yang diketahui). Strategi termasuk:

• Epsilon-Greedy: Penjelajahan rawak dengan kebarangkalian (Epsilon); Jika tidak, mengeksploitasi tindakan yang paling terkenal.
• Boltzmann Exploration: probabilistik nikmat tindakan dengan ganjaran yang lebih tinggi.

Algoritma pembelajaran tetulang: berasaskan model vs model bebas

algoritma rl membimbing membuat keputusan ejen. Dua kategori utama wujud:

RL berasaskan model

Ejen membina model dalaman persekitaran untuk merancang tindakan. Ini adalah sampel yang cekap tetapi mencabar untuk persekitaran yang kompleks. Contohnya ialah Dyna-Q, menggabungkan pembelajaran berasaskan model dan bebas model.

RL bebas model

Ejen belajar secara langsung dari pengalaman tanpa model yang jelas. Ini lebih mudah tetapi kurang cekap sampel. Contohnya termasuk:

• q-learning: belajar q-nilai (ganjaran masa depan yang dijangkakan) untuk pasangan tindakan negeri.
• sarsa: Sama dengan Q-Learning, tetapi mengemas kini nilai berdasarkan tindakan seterusnya yang diambil.
• Kaedah kecerunan dasar: secara langsung mempelajari keadaan pemetaan dasar untuk tindakan.
• Deep Q-Networks (DQN): menggabungkan Q-Learning dengan rangkaian saraf yang mendalam untuk ruang keadaan dimensi tinggi.

Pemilihan algoritma bergantung kepada kerumitan persekitaran dan ketersediaan sumber.

Q-Learning: Pandangan terperinci

Q-Learning adalah strategi pengajaran algoritma bebas model yang optimum. Kedai Q-Nilai Q-nilai untuk setiap pasangan tindakan negeri. Ejen memilih tindakan berdasarkan dasar Epsilon-Greedy, mengimbangi penerokaan dan eksploitasi. Nilai Q dikemas kini menggunakan formula yang menggabungkan nilai Q-nilai, ganjaran, dan nilai Q maksimum keadaan seterusnya. Parameter seperti gamma (faktor diskaun) dan alpha (kadar pembelajaran) mengawal proses pembelajaran.

pembelajaran tetulang di python dengan gimnasium

Gimnasium menyediakan pelbagai persekitaran untuk percubaan RL. Coretan kod berikut menunjukkan gelung interaksi dengan persekitaran pelarian:

import gymnasium as gym
env = gym.make("ALE/Breakout-v5", render_mode="rgb_array")
# ... (interaction loop and GIF creation code as in the original article) ...

Kod ini menjana GIF menggambarkan tindakan ejen. Perhatikan bahawa tanpa algoritma pembelajaran, tindakannya adalah rawak.

Kesimpulan

Pembelajaran tetulang adalah teknik yang kuat dengan aplikasi yang luas. Tutorial ini meliputi konsep asas dan menyediakan titik permulaan untuk penerokaan lanjut. Sumber tambahan disenaraikan dalam artikel asal untuk pembelajaran berterusan.

Atas ialah kandungan terperinci Pembelajaran Pengukuhan: Pengenalan dengan contoh Python. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!