Yuanxiang XVERSE-65B: Model sumber terbuka terbesar di China ada di sini, dengan prestasi tinggi dan penggunaan komersial percuma tanpa syarat

Sebilangan model besar dengan 7 bilion hingga 13 bilion parameter telah menjadi sumber terbuka di China sebelum ini, dan hasil pelaksanaan telah muncul, dan ekosistem sumber terbuka telah ditubuhkan pada mulanya. Apabila kerumitan dan volum data tugas seperti ejen meningkat, permintaan industri dan komuniti untuk model yang lebih besar menjadi semakin mendesak.

Penyelidikan menunjukkan bahawa lebih tinggi bilangan parameter dan lebih banyak data latihan berkualiti tinggi, lebih banyak prestasi model besar boleh dipertingkatkan secara berterusan. Konsensus umum dalam industri ialah hanya apabila ambang parameter 50 hingga 60 bilion dicapai, model besar boleh "muncul dengan bijak" dan menunjukkan prestasi hebat dalam pelbagai tugas. Walau bagaimanapun, melatih model dengan magnitud ini adalah mahal dan memerlukan keperluan teknikal yang tinggi Pada masa ini, ia disediakan terutamanya sebagai model berbayar sumber tertutup. Dalam ekosistem sumber terbuka asing, model penanda aras seperti Llama2-70B dan Falcon-180B adalah sumber terbuka bersyarat, dengan had atas komersial pada pengguna aktif bulanan atau pendapatan, dan mempunyai kelemahan yang jelas dalam keupayaan bahasa Cina kerana kekurangan data latihan . Selain itu, Larangan cip AI yang diisytiharkan baru-baru ini di Amerika Syarikat boleh menyekat lagi kelajuan pembangunan industri model besar China. Industri ini dengan segera menyeru model domestik berskala besar berprestasi tinggi untuk mengisi jurang ekologi dan memberikan pemahaman yang lebih berkuasa, penaakulan dan keupayaan penjanaan teks panjang untuk aplikasi Cina.

Dalam konteks ini, Syarikat Yuanxiang XVERSE mengumumkan sumber terbuka model besar universal berprestasi tinggi 65 bilion parameter XVERSE-65B

,

dan penggunaan komersil percuma tanpa syarat, yang merupakan kali pertama dalam industri. Di samping itu, model 13B telah dinaik taraf sepenuhnya untuk meningkatkan had atas keupayaan model kecil. Ini akan membolehkan sebilangan besar perusahaan kecil dan sederhana, penyelidik dan pembangun AI merealisasikan kebebasan model besar lebih awal Mereka boleh menggunakan, mengubah suai atau menyaring model besar Yuanxiang secara bebas mengikut kuasa pengkomputeran mereka, kekangan sumber dan keperluan tugas khusus. , mempromosikan penemuan dalam penyelidikan dan Inovasi.

Alamat model: https://huggingface.co/xverse/XVERSE-65B

Yuanxiang , membangunkan berbilang model 7B dan 13B berprestasi tinggi dalam masa tiga bulan, dan mempersembahkan model 65B yang menjanjikan kepada komuniti untuk yang pertama masa, mencipta nilai tiga kali ganda untuk penyelidikan, perniagaan dan ekologi "

Secara khusus, model 65B boleh mempunyai faedah berikut. Kesan:

Dari segi penyelidikan dan pembangunan, 65B akan menyediakan "tuas besar" untuk teknologi baharu. , alatan baharu, pengoptimuman prestasi dan keselamatan model, membolehkan komuniti mengumpul pengalaman dengan cepat, dan turut membantu mempromosikan matlamat jangka panjang iaitu kemerdekaan dan kebolehkawalan sains dan teknologi negara.

• Secara komersil, sebilangan besar perusahaan kecil dan sederhana boleh menggunakan "alat besar" pada kos sifar, yang boleh menembusi had dan menggalakkan inovasi yang ketara dalam aplikasi. Yuanxiang juga memberikan pandangan tentang kes penggunaan, penggunaan model keselamatan dan peluang yang berpotensi.

• Dalam ekosistem pembangun, komuniti boleh memberikan permainan sepenuhnya kepada kelebihan sinergi organisasi dan mempromosikan "Ledakan Cambrian" aplikasi R&D.

Model asas ayat-65B dilatih dari awal pada data berkualiti tinggi sebanyak 2.6 trilion token, tetingkap konteks diperluas menjadi 16k, dan menyokong lebih daripada 40 bahasa termasuk bahasa Cina, Bahasa Inggeris, Rusia, dan Perancis.

Yuanxiang mematuhi penentududukan berprestasi tinggi dan telah meningkatkan dengan ketara keupayaan 65B dalam tiga aspek: Keupayaan asas seperti pemahaman, penjanaan, penaakulan dan ingatan, kepada kepelbagaian, kreativiti dan ketepatan model ;

Meluaskan keupayaan panggilan alat, penjelasan kod, refleksi dan pembetulan, dan lain-lain, meletakkan asas teknikal untuk membina ejen pintar dan meningkatkan kepraktisan model

yang berpotensi mengurangkan masalah biasa yang serius; dalam 7B dan 13B, mengurangkan model besar Ilusi, meningkatkan ketepatan dan profesionalisme.

• Siri model besar Yuanxiang semuanya dibangunkan sendiri di seluruh rangkaian, meliputi beberapa teknologi utama dan inovasi R&D:

1 Reka bentuk sistem teragih yang kompleks: belajar daripada penyelidikan dan pembangunan Tencent Go AI ". Exquisite Art", King of Glory AI "Excellent Art" Dengan pengalaman yang kaya dalam sistem besar seperti "Wu", kami mempunyai teknologi utama yang dibangunkan sendiri seperti pengendali yang cekap, pengoptimuman memori, strategi penjadualan selari, pertindihan komunikasi pengkomputeran data, dan kerjasama platform dan rangka kerja untuk mewujudkan sistem latihan yang cekap dan stabil Kadar penggunaan kuasa mencapai 58.5%, berada di kedudukan teratas dalam industri.

• 2. Meningkatkan prestasi secara menyeluruh: FlashAttention2 digunakan untuk mempercepatkan pengiraan dalam latihan 65B, dan teknologi saluran paip maya digunakan berdasarkan selari 3D untuk mengurangkan kadar gelembung berlebihan yang dijana oleh saluran paip yang panjang dan meningkatkan kecekapan penaakulan pengiraan secara beransur-ansur meningkat daripada 8K Peningkatan kepada 16K bukan sahaja membolehkannya menyelesaikan tugas yang kompleks dengan jayanya, termasuk pemahaman teks panjang, penjanaan teks panjang dan dialog ultra-panjang, tetapi juga mengembangkan panggilan alat, tafsiran kod dan keupayaan refleksi dan pembetulan, membolehkannya membina dengan lebih baik. ejen pintar (Agen AI).

  3 Sangat meningkatkan kestabilan latihan: Disebabkan jumlah pengiraan yang banyak, kesesakan komunikasi, kepanasan cip atau kegagalan nod pengkomputeran telah menjadi kebiasaan untuk latihan 65B Pada hari-hari awal, terdapat sehingga lapan kegagalan seminggu. Melalui pengoptimuman berterusan operasi infrastruktur kluster, penjadualan sumber, rangka kerja latihan dan kerjasama platform penjadualan, Yuanxiang telah mencipta sistem latihan dengan kestabilan tinggi, gangguan rendah dan toleransi kesalahan yang kuat, meningkatkan kadar latihan berkesan mingguan kepada 98.6%.

  Selain itu, di tengah-tengah latihan model apabila menghampiri 1.6 trilion Token, fungsi kehilangan menghasilkan nilai NaN, yang mungkin menyebabkan latihan terganggu. Biasanya, industri secara amnya memadamkan selang data yang berkaitan selepas analisis. Berdasarkan pengalaman, pasukan menentukan bahawa ini adalah evolusi semula jadi model, memilih untuk tidak memadamkan data, dan terus melangkau kemas kini parameter yang berkaitan Akhirnya, masalah nilai NaN telah diselesaikan. Analisis selanjutnya keadaan perantaraan seperti nilai parameter, nilai pengaktifan, dan nilai kecerunan menunjukkan bahawa masalah itu mungkin berkaitan dengan perubahan nilai maksimum nilai pengaktifan blok pengubah pada lapisan terakhir model, dan akan diselesaikan dengan sendirinya apabila nilai maksimum semakin berkurangan.

  

  ^🎜##🎜🎜🎜 prestasi 6 B setanding dengan GPT3.5

  Untuk memastikan industri boleh mempunyai pemahaman yang komprehensif, objektif dan jangka panjang tentang prestasi model besar Yuanxiang, penyelidik merujuk kepada satu siri pihak berkuasa Untuk penilaian akademik, 11 piawaian penilaian autoritatif arus perdana meliputi enam dimensi termasuk soal jawab, pemahaman, pengetahuan, penaakulan, matematik dan kod telah dibangunkan dan akan digunakan dan diulang secara berterusan.

  -180B;
  
                                                                🎜#

  ^{Naik taraf komprehensif XVERSE-13B-2 daripada XVERSE-13B-2 menambah sejumlah besar data berkualiti tinggi berbanding model dengan saiz yang sama, dan data latihan mencapai 3.2 trilion, yang meningkatkan had atas keupayaan model kecil. Ia mempunyai kedua-dua seni dan sains, mengekalkan kelebihannya dalam seni liberal Soal jawab telah meningkat sebanyak 18%, sains telah mencapai kemajuan yang besar, pengekodan telah meningkat sebanyak 149%, dan matematik telah meningkat sebanyak 198%. benar-benar melepasi penanda aras sumber terbuka domestik dan asing seperti Llama2 dan Baichuan2.}

  🎜🎜#

  #🎜 baru era aplikasi model besar Model besar Yuanxiang boleh dimuat turun dengan mencari "XVERSE" di Github, Hugging Face, ModelScope dan platform lain

  #🎜🎜 #,

  boleh digunakan untuk kegunaan komersial percuma tanpa syarat selepas pendaftaran mudah, dan boleh memenuhi kebanyakan aplikasi dan keperluan lelaran perusahaan kecil dan sederhana, institusi penyelidikan saintifik dan pembangun individu. Yuanxiang juga menyediakan rangkaian penuh perkhidmatan teknikal seperti latihan model, inferens, penggunaan dan penalaan halus, memperkasakan pelbagai industri seperti hiburan, kewangan dan penjagaan perubatan, serta membantu dalam perkhidmatan pelanggan yang bijak. , penulisan kreatif, pengesyoran yang tepat, dsb. Cipta pengalaman pengguna yang menerajui industri dalam pelbagai senario. Pada Oktober 2023, Tencent Music menerajui dalam mengumumkan kerjasama strategik dengan Model Yuanxiang, bersama-sama melancarkan model lyraXVERSE accelerated, dan menaik taraf pembantu muziknya secara menyeluruh "AI Xiaoqin Pada masa hadapan, ia akan terus meneroka AI dan pemotongan 3D-". teknologi canggih untuk menerajui hiburan muzik Arah Inovatif.

  Yao Xing berkata: "Kecerdasan persepsi (3D) dunia sebenar dan kecerdasan kognitif (AI) dunia sebenar adalah kunci untuk meneroka tujuan umum kecerdasan buatan (AGI) Satu-satunya cara untuk pergi ialah juga tenaga penggerak untuk Yuanxiang untuk terus meneroka teknologi termaju Siri sumber terbuka XVERSE komited untuk mempromosikan penggantian domestik dan inovasi teknologi berterusan model besar, dan menyuntik dorongan kuat ke dalam pembangunan ekonomi sebenar dan ekonomi digital era baharu aplikasi model besar! Syarikat perkhidmatan teknologi 3D komited untuk membina platform sehenti dipacu AI untuk pengeluaran dan penggunaan kandungan 3D, dengan visi "mendefinisikan dunia anda".

                                 ^{Laman web rasmi: www.XVERSE.cn}#🎜🎜🎜##🎜🎜🎜🎜🎜🎜🎜🎜🎜🎜 jumlah pembiayaan terkumpul melebihi AS$200 juta. Yao Xing, pengasas Yuanxiang, ialah bekas naib presiden Tencent dan pengasas Tencent AI Lab, dan ahli Jawatankuasa Penasihat Strategik Kecerdasan Buatan Generasi Baharu Kementerian Sains dan Teknologi.
  Dalam bidang teknologi 3D dan AI, Yuanxiang mempunyai pengumpulan yang mendalam dan susun atur yang lengkap. Dalam bidang 3D, kami telah membangunkan teknologi interaktif 3D "kolaborasi awan peranti" peneraju industri, mewujudkan ambang sifar (ringan), sehenti (cepat), berkualiti tinggi (Amerika) pengalaman 3D baharu; medan AI, sumber terbuka China Model besar XVERSE-65B terbesar yang boleh didapati secara komersial dengan parameter maksimum direka untuk menggalakkan pembangunan penggantian domestik dan aplikasi industri model besar.

Atas ialah kandungan terperinci Yuanxiang XVERSE-65B: Model sumber terbuka terbesar di China ada di sini, dengan prestasi tinggi dan penggunaan komersial percuma tanpa syarat. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!