Jamba 1.5: Menampilkan Senibina Mamba-Transformer Hibrid

Jamba 1.5: Model bahasa hibrid yang kuat untuk pemprosesan konteks panjang

Jamba 1.5, model bahasa besar yang canggih dari makmal AI21, menawarkan keupayaan yang mengagumkan untuk mengendalikan konteks teks yang luas. Terdapat dalam dua versi - Jamba 1.5 besar (94 bilion parameter) dan Jamba 1.5 mini (12 bilion parameter) - ia memanfaatkan seni bina hibrid yang unik yang menggabungkan Model Space State (SSM) berstruktur Mamba dengan seni bina pengubah tradisional. Pendekatan inovatif ini membolehkan pemprosesan tetingkap konteks yang tidak pernah berlaku sebelum ini, lonjakan yang ketara untuk model sumber terbuka.

Ciri dan keupayaan utama:

• Tingkap konteks besar -besaran: Proses sehingga token 256K, sesuai untuk dokumen yang panjang dan tugas -tugas yang kompleks.
• Senibina hibrid: Menggabungkan kekuatan model pengubah dan Mamba untuk kecekapan dan prestasi yang optimum.
• Kuantisasi yang efisien: Menggunakan Pakar Kuantisasi untuk mengurangkan jejak memori dan pemprosesan yang lebih cepat.
• Sokongan berbilang bahasa: Fungsi dengan berkesan merentasi sembilan bahasa: Bahasa Inggeris, Sepanyol, Perancis, Portugis, Itali, Belanda, Jerman, Arab, dan Ibrani.
• Aplikasi serba boleh: Sesuai untuk pelbagai tugas NLP, termasuk menjawab soalan, ringkasan, penjanaan teks, dan klasifikasi.
• Penyebaran yang boleh diakses: Boleh didapati melalui AI21's Studio API, Hugging Face, dan Rakan Awan.

Butiran Senibina:

Aspek	Perincian
Senibina asas	Senibina Transformer-Mamba Hibrid dengan Modul Campuran-of-Experts (MOE)
Varian model	Jamba-1.5-besar (parameter aktif 94B, jumlah 398B) dan Jamba-1.5-Mini (parameter aktif 12B, jumlah 52B)
Komposisi lapisan	9 blok, masing -masing dengan 8 lapisan; Nisbah 1: 7 pengubah ke lapisan Mamba
Campuran Pakar (MOE)	16 pakar, memilih Top 2 Per teratas
Dimensi tersembunyi	8192
Kepala perhatian	64 kepala pertanyaan, 8 kepala nilai kunci
Panjang konteks	Sehingga token 256k
Teknik kuantisasi	PakarInt8 untuk lapisan MOE dan MLP
Fungsi pengaktifan	Pengaktifan Transformer dan Mamba Bersepadu
Kecekapan	Dioptimumkan untuk kelebihan tinggi dan latensi rendah pada GPU 8x80GB

Mengakses dan menggunakan Jamba 1.5:

Jamba 1.5 mudah diakses melalui API studio AI21 dan memeluk muka. Model ini boleh disesuaikan dengan domain tertentu untuk meningkatkan prestasi. Contoh python menggunakan API AI21 disediakan di bawah:

Contoh Python:

 dari AI21 Import AI21Client
dari ai21.models.chat import chatmessage

Mesej = [chatmessage (kandungan = "Apa tokenizer dalam 2-3 baris?", Role = "User")]
pelanggan = AI21Client (API_KEY = '') # Ganti '' dengan kekunci API anda
response = client.chat.completions.create (
    mesej = mesej,
    Model = "Jamba-1.5-Mini",
    stream = benar
)
untuk sebahagian tindak balas:
    cetak (chunk.choices [0] .delta.content, end = "") 

Kesimpulan:

Jamba 1.5 mewakili kemajuan yang ketara dalam model bahasa yang besar, yang menawarkan gabungan kuasa dan kecekapan yang menarik. Keupayaannya untuk mengendalikan konteks yang sangat panjang, ditambah dengan aplikasi serba boleh dan pilihan penempatan yang boleh diakses, menjadikannya alat yang berharga untuk pelbagai tugas NLP.

Soalan Lazim (Soalan Lazim): (Sama seperti yang asal, tetapi diubahsuai untuk kesesatan)

• S1: Apakah Jamba 1.5? A: Model bahasa pengubah hibrid-Mamba yang besar dengan parameter 94b (besar) atau 12b (mini), dioptimumkan untuk pengajaran berikut dan pemprosesan konteks panjang.
• S2: Bagaimanakah Jamba 1.5 mengendalikan konteks panjang dengan cekap? A: Melalui Senibina Hibrid dan Pakar Kuantisasi, membolehkan tetingkap konteks token 256k dengan penggunaan memori yang dikurangkan.
• S3: Apakah kuantisasi PakarT8? A: Teknik mampatan menggunakan ketepatan INT8 dalam lapisan MOE dan MLP untuk kecekapan yang lebih baik.
• S4: Adakah Jamba 1.5 tersedia secara terbuka? A: Ya, di bawah lesen Model Terbuka Jamba, boleh diakses melalui muka yang memeluk.

Atas ialah kandungan terperinci Jamba 1.5: Menampilkan Senibina Mamba-Transformer Hibrid. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!