Baichuan Intelligent mengeluarkan model AI Baichuan-13B, mendakwa bahawa '13 bilion parameter adalah sumber terbuka dan boleh digunakan secara komersial'

IT Home melaporkan pada 11 Julai bahawa Baichuan Intelligence, anak syarikat Wang Xiaochuan, hari ini mengeluarkan model besar Baichuan-13B, yang didakwa sebagai "13 bilion parameter sumber terbuka dan tersedia secara komersial".

▲ Sumber gambar halaman Baichuang-13B GitHub

Menurut pengenalan rasmi, Baichuan-13B ialah model bahasa berskala besar sumber terbuka yang boleh didapati secara komersil yang mengandungi 13 bilion parameter yang dibangunkan oleh Baichuan Intelligence selepas Baichuan-7B Ia telah mencapai hasil terbaik antara model yang sama saiznya pada kedua-dua bahasa Cina dan Penanda Aras Bahasa Inggeris. Keluaran ini termasuk dua versi: pra-latihan (Baichuan-13B-Base) dan penjajaran (Baichuan-13B-Chat).

▲ Sumber gambar halaman Baichuang-13B GitHub

Didakwa secara rasmi bahawa Baichuan-13B mempunyai ciri-ciri berikut:

• Saiz lebih besar, lebih banyak data: Baichuan-13B mengembangkan lagi bilangan parameter kepada 13 bilion berdasarkan Baichuan-7B, dan melatih 1.4 trilion token pada korpus berkualiti tinggi, melebihi LLaMA-13B sebanyak 40%. Model dengan jumlah data latihan terbesar pada saiz 13B. Menyokong dwibahasa Cina dan Inggeris, menggunakan pengekodan kedudukan ALiBi dan panjang tetingkap konteks ialah 4096.
• Model pra-latihan dan penjajaran sumber terbuka pada masa yang sama: Model pra-latihan ialah "asas" untuk pembangun, manakala majoriti pengguna biasa mempunyai keperluan yang lebih kuat untuk model penjajaran dengan fungsi dialog. Oleh itu, projek ini juga mempunyai model penjajaran (Baichuan-13B-Chat), yang mempunyai keupayaan dialog yang kuat Ia boleh digunakan di luar kotak dan boleh digunakan dengan mudah dengan beberapa baris kod.
• Penalaran yang lebih cekap: Untuk menyokong penggunaan julat pengguna yang lebih luas, projek ini juga telah menggunakan sumber terbuka versi terkuantasi int8 dan int4 Berbanding dengan versi tidak terkuantiti, ia mengurangkan ambang sumber mesin untuk penggunaan dengan banyak. hampir tiada kehilangan kesan, dan boleh digunakan dalam Pada kad grafik gred pengguna seperti NVIDIA RTX3090.
• Sumber terbuka, percuma untuk kegunaan komersial: Baichuan-13B bukan sahaja terbuka sepenuhnya kepada penyelidikan akademik, tetapi pembangun juga boleh menggunakannya secara percuma selepas memohon melalui e-mel dan memperoleh lesen komersial rasmi.

Pada masa ini, model itu telah dikeluarkan pada HuggingFace, GitHub dan Skop Model Rakan-rakan IT Home yang berminat boleh pergi dan ketahui lebih lanjut.

Atas ialah kandungan terperinci Baichuan Intelligent mengeluarkan model AI Baichuan-13B, mendakwa bahawa '13 bilion parameter adalah sumber terbuka dan boleh digunakan secara komersial'. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!