Model matematik besar sumber terbuka DeepSeek, SOTA baharu untuk pembuktian teorem sekolah menengah dan kolej

DeepSeek-Prover-V1.5 dengan ketara meningkatkan kecekapan dan ketepatan penjanaan bukti dengan menggabungkan pembelajaran pengukuhan dan pencarian pokok Monte Carlo.

Kemajuan dalam teknologi AI dan penemuan matematik saling berkait seperti sebelum ini.

Beberapa ketika dahulu, ahli matematik terkenal Teresa Tao memberi ucapan bertemakan "Potensi AI dalam sains dan matematik" di Oxford Mathematics Public Syarahan . Beliau menegaskan bahawa penyepaduan AI ke dalam matematik akan membolehkan bukti formal ditulis lebih cepat daripada bukti manusia (yang terdedah kepada kesilapan). Ini akan menjadi titik perubahan kritikal, bermakna bahawa penggunaan pembuktian formal tidak akan terhad kepada mengesahkan bukti sedia ada, tetapi juga akan digunakan untuk mencipta pengetahuan matematik baharu. Ini akan dicapai melalui kerjasama meluas antara ahli matematik manusia dan AI. Kita akan memasuki era "matematik besar"!

Seperti kata Tao Zhexuan, menggunakan AI pada bukti teorem formal telah menjadi operasi harian untuk ahli matematik. Sebaliknya, saintis AI juga bekerja keras untuk meningkatkan prestasi dan kecekapan AI dalam pembuktian teorem formal, seperti model baharu yang baru dilancarkan oleh DeepSeek - DeepSeek-Prover-V1.5.

DeepSeek-Prover-V1.5 ialah model sumber terbuka 7 bilion parameter. Ia meningkatkan kecekapan dan ketepatan penjanaan bukti dengan ketara dengan menggabungkan pembelajaran pengukuhan (pembelajaran pengukuhan berdasarkan maklum balas pembantu bukti, RLPAF) dan carian pokok Monte Carlo (terutamanya varian RMaxTS yang dicadangkan). DeepSeek-Prover-V1.5 mengatasi semua model sumber terbuka dalam teorem formal yang terbukti dalam Lean 4.

Berikut ialah butiran laporan teknikal.

Tinjauan Laporan Teknikal

#🎜🎜🎜##🎜##🎜##🎜 #

• Tajuk laporan: DeepSeek-Prover-V1.5: Memanfaatkan Maklum Balas Pembantu Bukti untuk Pembelajaran Pengukuhan dan Carian Pokok Monte-Carlo
  #🎜🎜🎜## 🎜🎜#
  Pautan laporan: https://arxiv.org/pdf/2408.08152
• pautanGitHub: https://github-com/deepseek ai/DeepSeek-Prover-V1.5

Dalam beberapa tahun kebelakangan ini, kemajuan besar telah dicapai dalam bidang model bahasa berskala besar Menggalakkan pembangunan kecerdasan buatan dalam penaakulan matematik dan pembuktian teorem. Walau bagaimanapun, model bahasa masih menghadapi cabaran yang ketara dalam pembuktian teorem formal. Contohnya, bukti yang menggunakan sistem seperti Lean dan Isabelle memerlukan derivasi yang teliti untuk memenuhi spesifikasi rasmi sistem pengesahan. Malah model lanjutan seperti GPT-4 tidak dapat mengendalikan pembuktian formal yang kompleks, yang menyerlahkan kerumitan pengekodan dan penaakulan matematik dalam pembuktian formal. Model pembuktian teorem formal yang cekap bukan sahaja memerlukan pemahaman sintaks dan semantik sistem formal seperti Lean Proof Assistant, tetapi juga memerlukan penggabungan penaakulan matematik abstrak dengan ungkapan formal yang tepat.

Dalam pembuktian teorem formal, model bahasa biasanya menggunakan dua strategi: penjanaan langkah-bukti dan penjanaan bukti keseluruhan).

Langkah pembuktian dijana dengan meramal dan mengesahkan setiap strategi, menggunakan pengesah rasmi untuk mendapatkan maklumat terkini tentang status strategi semasa, dan sering digabungkan dengan pepohon teknologi carian untuk membina bukti yang sah. Penjanaan bukti penuh adalah lebih cekap dari segi pengiraan, menjana keseluruhan kod bukti sekali gus berdasarkan pernyataan teorem, mengurangkan jumlah komunikasi yang diperlukan untuk penyelarasan antara model bukti dan pengesah teorem formal.

Walaupun DeepSeek-Prover-V1 mencapai keputusan SOTA dalam Lean 4 dengan penjanaan bukti lengkap, pendekatan ini juga mempunyai cabaran uniknya. Ia memerlukan ramalan jujukan jangka panjang tanpa maklumat keadaan dasar perantaraan dan dasar masa depan bergantung pada hasil tersembunyi ini. Dalam corak strategi Lean, bukti dibina melalui satu siri strategi yang mengubah keadaan bukti. Kejujukan ini boleh membawa kepada pengumpulan ralat, dan ralat kecil boleh menyebabkan bukti menyimpang dari laluan yang betul. Khususnya, model autoregresif mungkin mempunyai persepsi yang salah tentang keadaan dasar perantaraan apabila menjana bukti pertumbuhan.

Untuk menyepadukan keadaan dasar perantaraan dengan lancar tanpa mengorbankan kesederhanaan dan kecekapan pengiraan penjanaan bukti lengkap, penyelidik dalam pendekatan DeepSeek-Prover -Satu pendekatan bersatu dibangunkan dalam V1.5.Pendekatan ini menggabungkan kelebihan penjanaan langkah bukti dan penjanaan bukti lengkap melalui mekanisme truncate-and-resume.

Proses bermula dengan penjanaan bukti lengkap standard, di mana model bahasa melengkapkan kod bukti berdasarkan awalan pernyataan teorem, yang kemudiannya disahkan oleh prover Lean. Jika terbukti betul, proses itu tamat. Jika ralat ditemui, kod itu dipotong daripada mesej ralat pertama dan kod berikutnya dibuang. Kemudian, gunakan kod bukti yang berjaya dijana sebagai petunjuk untuk menjana segmen bukti seterusnya.

Untuk meningkatkan ketepatan bahagian model yang baru disiapkan, penyelidik menambah status terkini prover Lean 4 sebagai ulasan pada penghujung gesaan. Perlu diingat bahawa pendekatan ini tidak terhad kepada memulakan semula daripada strategi terakhir yang berjaya digunakan. Para penyelidik menyepadukan mekanisme pemangkasan dan mulakan semula ke dalam Carian Pokok Monte Carlo (MCTS), dan strategi carian pokok mengatur titik pemangkasan. Di samping itu, mereka mencadangkan algoritma penerokaan tanpa ganjaran baharu untuk menyelesaikan masalah sparsity ganjaran dalam carian bukti. Mereka memberi agen carian pokok dengan daya penggerak intrinsik, iaitu rasa ingin tahu, untuk meneroka secara meluas ruang keadaan dasar. Modul algoritmik ini memanjangkan model penjanaan bukti penuh mereka kepada alat pembuktian teorem interaktif yang fleksibel yang mampu memanfaatkan maklum balas secara berkesan daripada pembantu bukti untuk menjana penyelesaian yang pelbagai.

Sumbangan Teras

Para penyelidik mencadangkan rangka kerja yang komprehensif untuk membangunkan alat bukti matematik formal berdasarkan model bahasa Mereka menyepadukan beberapa komponen utama: pembinaan matematik berskala besar korpora matematik, pembelajaran pengukuhan dalam talian berdasarkan maklum balas pembantu bukti, dan metodologi carian pokok untuk perancangan jangka panjang bukti teorem. Kod untuk model pra-latihan, model penalaan halus diselia, model pembelajaran pengukuhan dan algoritma carian pokok Monte Carlo tersedia secara umum untuk penyelidikan dan aplikasi lanjut. 1. Pra-latihan Isabelle Bahasa formal seperti Metamath dan Metamath digunakan secara meluas sebagai pembantu bukti.

2. Penalaan halus diselia

Para penyelidik menambah baik set data pelengkapan kod Lean 4 dengan melaksanakan dua teknik penambahan data. Mula-mula, mereka menggunakan DeepSeek-Coder V2 236B untuk menganotasi komen CoT (chain-of-thought) bersama kod Lean 4, menjajarkan teorem formal yang membuktikan dengan penaakulan bahasa semula jadi. Kedua, mereka memasukkan maklumat keadaan dasar perantaraan ke dalam kod bukti Lean 4, membolehkan model mereka mengeksploitasi maklum balas pengkompil dengan lebih cekap. Mereka kemudian menggunakan set data ini untuk memperhalusi model pra-latihan. . Keputusan pengesahan prover Lean berfungsi sebagai penyeliaan ganjaran, meningkatkan ketekalan model dengan spesifikasi rasmi sistem pengesahan.

4. Carian pokok Monte Carlo

Penyelidik telah memajukan kaedah carian pokok dalam pembuktian teorem formal dengan memperkenalkan abstraksi baharu dan algoritma carian yang sepadan. Mekanisme pemangkasan dan mulakan semula mereka berfungsi sebagai abstraksi tindakan keadaan yang menyepadukan proses carian pokok dengan lancar ke dalam rangka kerja penjanaan bukti yang lengkap. Mereka mempersembahkan RMaxTS, algoritma carian pokok Monte Carlo yang inovatif yang memanfaatkan strategi RMax untuk menyelesaikan cabaran penerokaan ganjaran jarang dalam masalah carian bukti. Dengan memperuntukkan ganjaran intrinsik, algoritma ini menggalakkan ejen bukti untuk menjana laluan perancangan yang pelbagai, dengan itu menggalakkan penerokaan meluas ruang bukti. . miniF2F Kadar lulus sebanyak 60.2% telah dicapai, iaitu 10.2 mata peratusan lebih tinggi daripada 50.0% DeepSeek-Prover-V1. Apabila digabungkan dengan teknologi carian pokok, kadar lulus dipertingkatkan lagi, mencapai SOTA baharu sebanyak 63.5%.

2. Set data ProofNet peringkat sarjana muda

DeepSeek-Prover-V1.5 juga menunjukkan prestasi kukuh dalam tetapan penjanaan bukti lengkap kaedah saluran tunggal ProofNet, dengan kadar lulus pada set pengesahan 100% 21.6%, dan 23.7% pada set ujian. Apabila digabungkan dengan teknik carian pokok, keputusan ini dipertingkatkan lagi, mencapai SOTA baharu sebanyak 25.4% pada set pengesahan dan 25.3% pada set ujian.

#🎜🎜 #latihan model

#🎜🎜🎜🎜🎜##🎜 Untuk meningkatkan keupayaan model bahasa untuk menghasilkan pembuktian dan penaakulan formal melalui bahasa matematik, para penyelidik telah melatih lebih lanjut model asas dan menamakan model yang dipertingkatkan ini DeepSeek-ProverV1.5-Base.

Artikel itu kemudiannya meneroka kaedah dan proses yang terlibat dalam penyeliaan penalaan halus (SFT) DeepSeek-Prover-V1.5. Khususnya, penyelidik menambah set data bukti DeepSeekProver-V1 dengan menambahkan anotasi penjelasan terperinci. Penambahbaikan ini bertujuan untuk meningkatkan ketekalan antara penerangan bahasa semula jadi dan kod Lean 4, dengan itu menggalakkan penaakulan matematik formal yang lebih baik. Di samping itu, penyelidik memasukkan maklumat keadaan dasar perantaraan sebagai tugas ramalan tambahan untuk menyokong mekanisme pemangkasan dan mulakan semula yang digunakan dalam proses carian pokok Monte Carlo, dan memanggil model yang terhasil DeepSeek-ProverV1.5-SFT.

Pembelajaran pengukuhan berdasarkan maklum balas pembantu bukti

#🎜🎜🎜#

#🎜 #Untuk meningkatkan lagi prestasi DeepSeek-Prover-V1.5-SFT, kajian ini memperkenalkan peringkat pembelajaran pengukuhan, menghasilkan model DeepSeek-Prover-V1.5-RL. Peringkat ini menggunakan pembelajaran pengukuhan (RL) untuk meningkatkan prestasi berdasarkan maklum balas pengesahan daripada prover Lean 4. Berikut ialah butiran khusus proses RL ini.

Petua latihan. Dalam fasa pembelajaran pengukuhan, kajian menggunakan pernyataan teorem separa daripada set data penalaan halus yang diselia sebagai isyarat latihan. Kira-kira 4,500 pernyataan teorem unik telah dikekalkan selepas penapisan. Setiap teorem disertakan dengan petunjuk panduan CoT dan bukan CoT untuk meningkatkan keupayaan penjanaan bukti model dalam kedua-dua mod.

Ganjaran. Apabila melatih LLM melalui RL, model ganjaran terlatih sering memberikan isyarat maklum balas. Sebaliknya, teorem formal yang membuktikan manfaat daripada pengesahan rapi bukti yang dihasilkan oleh pembantu bukti, sekali gus memberikan kelebihan yang ketara. Khususnya, setiap bukti yang dijana akan menerima ganjaran 1 jika disahkan dengan betul dan ganjaran 0 sebaliknya. Walaupun isyarat ganjaran binari ini tepat, ia juga jarang, terutamanya untuk teorem yang mencabar untuk model penalaan halus yang diselia. Untuk mengurangkan keterbatasan ini, kami memilih isyarat latihan yang mencabar tetapi boleh dicapai untuk penyeliaan penalaan halus model, seperti yang diterangkan di atas.

Algoritma pembelajaran pengukuhan. Kajian ini menggunakan Pengoptimuman Dasar Relatif Kumpulan (GRPO) sebagai algoritma RL kertas ini, yang menunjukkan keberkesanan dan kecekapan yang lebih tinggi berbanding PPO. Secara khusus, GRPO mengekstrak satu set bukti calon untuk setiap pembayang teorem dan mengoptimumkan model berdasarkan ganjaran relatif bagi output dalam set.

Penilaian. Rajah 3 membentangkan analisis perbandingan setiap peringkat latihan pada set data miniF2F dan ProofNet. Mod CoT secara konsisten mengatasi mod bukan CoT dalam kebanyakan tetapan.

Pencarian pokok Monte Carlo berorientasikan penerokaan

#🎜 #Untuk melaksanakan kaedah carian pokok dalam tetapan penjanaan bukti holistik, kajian ini memperkenalkan abstraksi pokok bukti untuk mentakrifkan ruang keadaan dan tindakan tersuai serta menggunakan mekanisme pemotongan dan mulakan semula. Para penyelidik mula-mula menguraikan bukti yang tidak lengkap ke dalam urutan nod pokok yang sepadan dengan setiap langkah pembuktian, dan kemudian menggunakan kandungan separa yang disimpan dalam nod pokok ini untuk meneruskan proses penjanaan bukti. Rajah 4 menggambarkan proses membina pepohon carian bukti daripada penjanaan bukti keseluruhan.

Pemotongan: Kajian ini membina pepohon carian bukti di peringkat dasar, di mana setiap tepi pokok mewakili satu langkah peralihan bagi keadaan dasar. Pertama, kajian menyerahkan keseluruhan bukti yang dijana oleh model kepada pepatah Lean dan menghuraikannya menjadi dasar. Bukti kemudiannya dipotong pada ralat pengesahan terawal, memastikan bahawa semua kod strategi seterusnya boleh berjaya digunakan untuk memajukan bukti kepada teorem yang dikehendaki. Kod strategi dibahagikan kepada beberapa coretan kod, yang setiap satunya mengandungi kod strategi yang sah dan anotasi rantai pemikiran yang berkaitan, sepadan dengan tepi pokok tunggal yang mewakili peralihan keadaan strategi. Dengan abstraksi ini, setiap kod dasar ditukar kepada urutan nod pokok, membentuk laluan dari akar ke nod tertentu.

Mula semula: Dalam Lean 4, strategi berbeza boleh membawa kepada keadaan strategi yang sama, yang bermaksud bahawa setiap nod dalam pepohon bukti mungkin sepadan dengan Berbilang kod strategi yang mencapai hasil yang sama. Untuk menyelesaikan masalah ini, penyelidik menyimpan satu set kod dasar yang setara ini pada setiap nod.Apabila ejen carian pokok mengembangkan nod, ia secara rawak memilih dasar sebagai pembayang untuk model bahasa.

Ganjaran intrinsik untuk carian pokok Monte Carlo

#🎜#

#🎜##🎜🎜🎜 #
Artikel seterusnya memperkenalkan algoritma penerokaan didorong ganjaran intrinsik - RMax digunakan pada Carian Pokok (RMaxTS), yang menggabungkan penerokaan tanpa ganjaran ke dalam masalah carian bukti.

RMax digunakan untuk MCTS. Kajian ini menggunakan RMax, mekanisme penerokaan klasik, untuk membina ganjaran intrinsik carian pokok Monte Carlo. Dalam konteks carian bukti, di mana tiada ganjaran luaran disediakan sehingga bukti selesai, proses algoritma ini adalah serupa dengan ZeroRMax, di mana penerokaan ejen hanya didorong oleh ganjaran intrinsik, iaitu menetapkan

. Ganjaran intrinsik langkah pengembangan pokok bergantung pada sama ada nod baharu ditambahkan pada pepohon carian ini berpotensi mengurangkan penjanaan berlebihan dan meningkatkan kecekapan Sampel.

Hasil eksperimen

#🎜#
#🎜##🎜🎜🎜##🎜🎜🎜 Dalam bahagian ini, penyelidik menggunakan dua penanda aras miniF2F dan ProofNet untuk menilai keupayaan membuktikan teorem DeepSeek-Prover-V1.5. Yang pertama termasuk latihan peringkat sekolah tinggi dan masalah persaingan, manakala yang kedua melibatkan teorem peringkat sarjana muda.

Untuk memastikan konsistensi, penyelidik menggunakan model latihan dan konfigurasi inferens yang sama seperti dalam penilaian, menunjukkan penjanaan bukti penuh dan pokok Monte Carlo Hasil daripada kaedah carian.

Pertama sekali, kertas kerja ini memperkenalkan analisis perbandingan DeepSeek-Prover-V1.5 dan beberapa model SOTA sebelumnya, memfokuskan pada prestasi dan kemajuannya .

#🎜🎜 #Universal Model

#🎜#

#🎜##🎜🎜

GPT-3.5 dan GPT-4 ialah model AI generatif lanjutan yang dibangunkan oleh OpenAI, terkenal dengan keberkesanannya dalam pelbagai tugas, termasuk penjanaan kod. Walaupun model ini tidak direka khusus untuk pembuktian teorem, julat parameternya yang luas memberikan keupayaan penting. Penilaian model ini dalam pembuktian teorem formal difasilitasi oleh COPRA, agen pembelajaran kontekstual yang memanfaatkan model bahasa besar ini untuk mencadangkan aplikasi taktikal.

• Selain itu, penyelidik membincangkan Llemma, sebuah keluarga model bahasa yang dilatih dalam pelbagai korpora matematik am, sering digunakan sebagai teorem formal Model asas daripada bukti.
  
  

Model khas untuk matematik formal

#🎜🎜 🎜🎜#

GPT-f ialah percubaan awal untuk menggunakan Transformers untuk membuktikan penjanaan langkah untuk tugas membuktikan teorem, menggunakan modul carian terbaik pertama untuk membina bukti lengkap. Beberapa perkembangan seterusnya termasuk ReProver, LLMStep dan Lean-STAR.

Hypertree Proof Search meneroka aplikasi carian pokok Monte Carlo dalam teorem formal yang membuktikan menggunakan Lean. Dalam tempoh yang sama, InternLM2-Math dan InternLM2-StepProver juga menunjukkan prestasi cemerlang.

Para penyelidik kemudian membandingkan model ini dengan DeepSeek-Prover-V1.5. Keputusan pada

miniF2F 🎜#

Jadual 1 menyediakan analisis perbandingan perbandingan pelbagai kaedah set data ujian miniF2F.

Dalam tetapan penjanaan bukti lengkap saluran tunggal, DeepSeekProver-V1.5-RL mempunyai kadar lulus tertinggi, mencapai 60.2%, yang lebih tinggi daripada DeepSeek-Prover- V1 50.0% meningkat sebanyak 10.2 mata peratusan. DeepSeek-Prover-V1.5-RL mengehadkan belanjawan pensampelan kepada 128 percubaan dan membuktikan 51.6% masalah, dengan ketara mengatasi kaedah penjanaan kalis keseluruhan yang lain dan setanding dengan kaedah carian pokok terkemuka. Dalam kategori kaedah carian pokok, DeepSeek-Prover-V1.5-RL + RMaxTS mendahului dengan kadar lulus 62.7%, mewujudkan tahap SOTA baharu dan melebarkan jurang dengan kaedah sedia ada.

Perlu diperhatikan bahawa DeepSeek-Prover-V1.5-RL hanya memerlukan 3200 sampel bukti lengkap untuk mencapai kadar lulus 54.9%, Ia melebihi tahap SOTA InternLM2-StepProver sebelumnya, yang memerlukan 64 × 3200 carian pokok untuk mencapai kadar lulus 54.5%.

Keputusan pada ProofNet 🎜#Jadual 2 menyenaraikan analisis perbandingan pelbagai kaedah pembuktian teorem pada set data ProofNet. Kadar lulus DeepSeek-Prover-V1.5-RL pada keseluruhan set data ProofNet masing-masing mencapai 22.6% dan 25.3%.Ces résultats dépassent les méthodes SOTA existantes ReProver (13,8 %) et InternLM2-StepProver (18,1 %). Lorsque le nombre de tentatives de génération de preuves complètes est limité à 3 200, DeepSeek-Prover-V1.5 prouve également 21,7 % des théorèmes, soit une amélioration de 3,6 % par rapport au précédent InternLM2-StepProver de pointe.

Réexamen de l'effet des stratégies de formation dans un échantillonnage à grande échelle

Les chercheurs ont réexaminé l'effet de plusieurs modules de formation dans des environnements d'échantillonnage à grande échelle, en se concentrant sur la génération de preuves complètes à canal unique et recherche arborescente de Monte Carol.

Le tableau 3 compare les performances de deux modes de génération, non-CoT et CoT, sur l'ensemble de données de test miniF2F, montrant qu'à mesure que le budget de l'échantillon augmente, l'avantage du CoT par rapport au mode non-CoT est amplifié.

Expérience d'ablation

Dans l'expérience d'ablation, les chercheurs ont testé la conception de l'algorithme de RMaxTS. Les expériences sont menées en mode CoT à l'aide de DeepSeek-Prover-V1.5-RL sur l'ensemble de données de test miniF2F. Comme le montre la figure 5, le côté gauche montre la courbe de précision Pass@K dans 6 400 échantillons générés, et le côté droit montre les résultats avec une taille d'échantillon plus grande.

Atas ialah kandungan terperinci Model matematik besar sumber terbuka DeepSeek, SOTA baharu untuk pembuktian teorem sekolah menengah dan kolej. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!