Model universal sumber terbuka paling berkuasa NVIDIA Nemotron-4 340B

Prestasi mengatasi Llama-3, terutamanya digunakan untuk data sintetik.

Model besar umum NVIDIA Nemotron telah menggunakan sumber terbuka versi 340 bilion parameter terkini.

Jumaat ini, NVIDIA mengumumkan pelancaran Nemotron-4 340B. Ia mengandungi satu siri model terbuka yang boleh digunakan oleh pembangun untuk menjana data sintetik untuk melatih model bahasa besar (LLM), yang boleh digunakan untuk aplikasi komersial dalam semua industri seperti penjagaan kesihatan, kewangan, pembuatan dan peruncitan.

Data latihan berkualiti tinggi memainkan peranan penting dalam responsif, ketepatan dan kualiti LLM tersuai — tetapi set data yang berkuasa selalunya mahal dan tidak boleh diakses. Melalui lesen model terbuka yang unik, Nemotron-4 340B menyediakan pembangun dengan cara percuma dan berskala untuk menjana data sintetik bagi membantu orang ramai membina LLM yang berkuasa.

Siri Nemotron-4 340B termasuk model Asas, Arahan dan Ganjaran, yang membentuk saluran paip untuk menjana data sintetik untuk latihan dan menambah baik LLM. Model ini dioptimumkan untuk digunakan dengan NVIDIA NeMo, rangka kerja sumber terbuka untuk latihan model hujung ke hujung, termasuk pengurusan data, penyesuaian dan penilaian. Mereka juga dioptimumkan untuk inferens dengan perpustakaan NVIDIA TensorRT-LLM sumber terbuka.

Nvidia berkata Nemotron-4 340B kini tersedia untuk dimuat turun daripada Hugging Face. Pembangun tidak lama lagi akan dapat mengakses model ini di ai.nvidia.com, di mana ia akan dibungkus sebagai perkhidmatan mikro NVIDIA NIM dengan antara muka pengaturcaraan aplikasi standard yang boleh digunakan di mana-mana sahaja.

Muat Turun Muka Memeluk: https://huggingface.co/collections/nvidia/nemotron-4-340b-666b7ebaf1b3867caf2f1911

synthetic

untuk menjana data Nemo

Model bahasa besar boleh Membantu pembangun menjana data latihan sintetik tanpa akses kepada set data berlabel yang besar dan pelbagai.

Model Nemotron-4 340B Instruct mencipta data sintetik pelbagai yang meniru ciri data dunia sebenar, membantu meningkatkan kualiti data dan dengan itu meningkatkan prestasi dan keteguhan LLM tersuai dalam pelbagai domain.

Untuk meningkatkan kualiti data yang dijana AI, pembangun boleh menggunakan model Ganjaran Nemotron-4 340B untuk menapis bagi mendapatkan respons berkualiti tinggi. Nemotron-4 340B Reward menskorkan respons berdasarkan lima atribut: kebolehgunaan, ketepatan, koheren, kerumitan dan keterkataan. Ia kini berada di kedudukan No. 1 pada ranking Hugging Face RewardBench yang dicipta oleh AI2, yang menilai kuasa, keselamatan dan kelemahan model ganjaran.

Dalam saluran paip data sintetik ini, (1) model Nemotron-4 340B Instruct digunakan untuk menjana output sintetik berasaskan teks. Kemudian, model penilaian (2) Nemotron-4 340B Reward menilai teks yang dijana dan memberikan maklum balas untuk membimbing penambahbaikan berulang dan memastikan ketepatan data yang disintesis.

Penyelidik juga boleh menyesuaikan model asas Nemotron-4 340B menggunakan data proprietari mereka sendiri, digabungkan dengan set data HelpSteer2 yang disertakan, untuk mencipta model Instruct atau model ganjaran mereka sendiri. .

Pengenalan kaedah

Nemotron-4-340B-Seni bina model asas ialah Seni bina Transformer penyahkod sahaja standard dengan topeng perhatian sebab, benam kedudukan diputar (RoPE), tokenizer SentencePiece dan banyak lagi. Hiperparameter Nemotron-4-340B-Base ditunjukkan dalam Jadual 1. Ia mempunyai 9.4 bilion parameter terbenam dan 331.6 bilion parameter tidak terbenam.

Jadual berikut menunjukkan beberapa butiran latihan model Nemotron-4-340B-Base Jadual meringkaskan 3 peringkat kecerunan saiz kelompok, termasuk setiap masa lelaran dan penggunaan model FLOP/s.

Untuk membangunkan model ganjaran yang berkuasa, NVIDIA mengumpul set data 10k data keutamaan manusia yang dipanggil HelpSteer2 dan mengeluarkannya secara terbuka.

Alamat set data: https://huggingface.co/datasets/nvidia/HelpSteer2

Model ganjaran regresi Nemotron-4-340B-Reward dibina pada model Nemotron-4-Base3 Dan gantikan lapisan softmax terakhir dengan pengepala ganjaran baharu. Pengepala ini ialah unjuran linear yang memetakan keadaan tersembunyi lapisan terakhir ke dalam vektor lima dimensi sifat HelpSteer (kebergunaan, ketepatan, koheren, kerumitan, verbositi). Semasa proses inferens, nilai atribut ini boleh diagregatkan ke dalam ganjaran keseluruhan melalui jumlah wajaran. Mod bonus ini menyediakan asas yang kukuh untuk melatih Nemotron-4-340B-Instruct.

Kajian mendapati model sebegini berprestasi sangat baik pada RewardBench:

Ditala halus dengan NeMo dan inferens yang dioptimumkan dengan TensorRT-LLM

Sumber terbuka NVIDIA TenMo

-LLM , pembangun boleh mengoptimumkan kecekapan model bimbingan dan ganjaran mereka untuk menjana data sintetik dan respons skor.

Semua model Nemotron-4 340B dioptimumkan menggunakan TensorRT-LLM untuk memanfaatkan keselarian tensor, sejenis keselarian model di mana matriks berat tunggal dipisahkan merentas berbilang GPU dan pelayan untuk mencapai inferens Cekap pada skala.

Nemotron-4 340B Base dilatih menggunakan 9 trilion token dan boleh disesuaikan menggunakan rangka kerja NeMo agar sesuai dengan kes penggunaan atau domain tertentu. Proses penalaan halus ini mendapat manfaat daripada sejumlah besar data pra-latihan dan menyediakan output yang lebih tepat untuk tugas hiliran tertentu.

Antaranya, rangka kerja NeMo menyediakan pelbagai kaedah penyesuaian, termasuk kaedah penalaan halus yang diselia dan kaedah penalaan yang cekap parameter, seperti penyesuaian peringkat rendah (LoRA).

Untuk meningkatkan kualiti model, pembangun boleh menjajarkan model mereka menggunakan NeMo Aligner dan set data yang dijelaskan oleh Nemotron-4 340B Reward. Penjajaran ialah langkah kritikal dalam melatih model bahasa yang besar, di mana tingkah laku model diperhalusi menggunakan algoritma seperti RLHF untuk memastikan outputnya selamat, tepat, kontekstual dan konsisten dengan matlamat yang dinyatakan.

Perusahaan yang mencari sokongan gred perusahaan dan persekitaran pengeluaran selamat juga boleh mengakses NeMo dan TensorRT-LLM melalui platform perisian NVIDIA AI Enterprise asli awan. Platform ini menyediakan persekitaran masa jalan yang dipercepat dan cekap untuk model asas AI generatif.

Data Penilaian

Rajah 1 menyerlahkan ketepatan keluarga model Nemotron-4 340B pada misi terpilih. Khususnya:

Nemotron-4-340B-Base adalah setanding dengan model asas akses terbuka seperti Llama-3 70B, Mixtral 8x22B dan Qwen-2 72B pada tugas penaakulan akal seperti ARC-Challenge, MMLU dan BigBench tanda aras Setanding.

Dari segi keupayaan mengikuti arahan dan sembang, Nemotron-4-340B-Instruct mengatasi model arahan yang sepadan. Ganjaran Nemotron-4-340B mencapai ketepatan tertinggi pada RewardBench, malah mengatasi model proprietari seperti GPT-4o-0513 dan Gemini 1.5 Pro-0514.

Selepas pelancaran Nemotron-4-340B, platform penilaian segera mengeluarkan keputusan penanda arasnya Dapat dilihat bahawa keputusannya mengatasi Llama-3-70b dalam ujian penanda aras keras seperti Arena-Hard-Auto^.

Adakah ini bermakna model baharu yang paling berkuasa dalam industri telah muncul?

Pautan rujukan:

🎜https://blogs.nvidia.com/blog/nemotron-4-synthetic-data-generation-llm-training/🎜🎜🎜🎜🎜 //x.com/lmsysorg/status/1801682893988892716🎜🎜🎜

Atas ialah kandungan terperinci Model universal sumber terbuka paling berkuasa NVIDIA Nemotron-4 340B. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!