Latih LLM Dari Gores

Saya telah menyelesaikan projek latihan LLM yang lengkap, daripada memuat turun set data latihan kepada menggunakan model terlatih untuk menjana teks, keseluruhan proses disertakan. Pada masa ini menyokong set data PILE, set data pelbagai untuk latihan LLM. Anda boleh mengehadkan saiz set data, menyesuaikan seni bina Transformer lalai dan konfigurasi latihan, dan banyak lagi.

Ini ialah contoh teks yang dijana oleh LLM saya dengan 13 juta parameter yang dilatih pada Colab T4 GPU:

Pada ****1978, taman itu dikembalikan ke kilang - kawasan awam dipisahkan oleh pagar elektrik, yang dibina serta-merta mengikuti bandar di mana stesen itu terletak. Terusan di negara Barat purba dihadkan kepada kawasan bandar. Perkampungan China berhubung terus dengan bandar, mencetuskan bantahan terhadap bajet AS, manakala masa depan Odambinais tidak menentu, dengan kekayaan tertumpu di kawasan luar bandar.

Projek ini lebih memfokuskan pada proses pembelajaran dan bukannya mencipta AI terbaik dengan segera.

Kod, dokumentasi dan contoh semuanya tersedia di GitHub:

Pautan GitHub

Atas ialah kandungan terperinci Latih LLM Dari Gores. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!