Dengan 35 bilion parameter dan pemberat terbuka, pengarang Transformer melancarkan model besar baharu selepas memulakan perniagaannya sendiri.

Hari ini, Cohere, sebuah syarikat permulaan kecerdasan buatan yang diasaskan bersama oleh Aidan Gomez, salah seorang pengarang Transformer, mengalu-alukan keluaran model besarnya sendiri.

Model keluaran terbaru Cohere dinamakan "Command-R", mempunyai parameter 35B dan direka bentuk untuk mengendalikan beban kerja pengeluaran berskala besar. Model ini termasuk dalam kategori "boleh berskala", dengan keseimbangan kecekapan tinggi dan ketepatan tinggi, membantu pengguna perusahaan bergerak melangkaui bukti konsep ke dalam pengeluaran.

Command-R ialah model generatif yang dioptimumkan khusus untuk Retrieval Augmented Generation (RAG) dan tugas konteks panjang yang lain. Dengan menggabungkan API dan alatan luaran, model ini bertujuan untuk meningkatkan prestasi aplikasi RAG. Ia berfungsi dengan model pembenaman dan penyusunan semula yang terkemuka dalam industri untuk menyampaikan prestasi cemerlang dan keupayaan penyepaduan terbaik dalam kelasnya untuk kes penggunaan perusahaan.

Command-R menggunakan seni bina transformer yang dioptimumkan dan merupakan model bahasa autoregresif. Selepas pra-latihan selesai, model itu dipastikan konsisten dengan pilihan manusia melalui penyeliaan penalaan halus (SFT) dan latihan keutamaan untuk mencapai kegunaan dan keselamatan yang lebih baik.

Secara khusus, Command-R mempunyai ciri fungsi berikut:

• Ketepatan tinggi dalam RAG dan penggunaan alat
• Kependaman rendah, daya pemprosesan tinggi
lebih rendah
Fungsi berkuasa merentas 10 bahasa utama
Berat model tersedia pada HuggingFace untuk penyelidikan dan penilaian

Command-R kini tersedia pada API terurus Cohere, dengan pelan Akan tersedia pada penyedia awan utama tidak lama lagi. Keluaran ini adalah yang pertama dalam siri model yang direka untuk memajukan keupayaan yang penting kepada penggunaan besar-besaran perusahaan.

Pada masa ini, Cohere telah membuka pemberat model pada Huggingface. . RAG) telah Menjadi corak utama dalam penggunaan model bahasa yang besar. Dengan RAG, syarikat boleh memberikan model akses kepada pengetahuan peribadi yang mungkin tidak tersedia, mencari pangkalan data peribadi dan menggunakan maklumat yang berkaitan untuk membentuk respons, meningkatkan ketepatan dan kegunaan dengan ketara. Komponen utama RAG ialah:

Pendapatan semula: Cari korpus maklumat yang berkaitan dengan pengguna respons.

Penjanaan Tambahan: Gunakan maklumat yang diperoleh untuk membentuk respons yang lebih termaklum.

Untuk mendapatkan semula, model Cohere’s Embed meningkatkan pemahaman kontekstual dan semantik dengan mencari berjuta-juta malah berbilion-bilion dokumen, dengan ketara meningkatkan utiliti dan ketepatan langkah mendapatkan semula. Pada masa yang sama, model Rerank Cohere membantu meningkatkan lagi nilai maklumat yang diperoleh, mengoptimumkan hasil untuk metrik tersuai seperti perkaitan dan pemperibadian.

• Untuk penjanaan tambahan, dengan mengenal pasti maklumat yang paling relevan, Command-R boleh merumuskan, menganalisis dan membungkus maklumat ini serta membantu pekerja meningkatkan kecekapan kerja atau mencipta pengalaman produk baharu. Command-R adalah unik kerana output model disertakan dengan petikan yang jelas, mengurangkan risiko halusinasi dan memberikan lebih banyak konteks daripada bahan sumber.
• Walaupun tanpa menggunakan model Embed dan Rerank sendiri, Command-R mengatasi model lain dalam kategori model generatif boleh skala. Tetapi apabila digunakan bersama, petunjuk meluas dengan ketara, membolehkan prestasi yang lebih tinggi dalam domain yang lebih kompleks.

Gambar di bawah di sebelah kiri menunjukkan Command-R dan Mixtral menjalankan penilaian keutamaan manusia Head-to-Head secara keseluruhan pada siri aplikasi RAG berkaitan perusahaan, dengan mengambil kira kefasihan, kepraktisan menjawab dan petikan. Sebelah kanan rajah menunjukkan hasil perbandingan Command-R (Embed+Rerank), Command-R dan Llama 2 70B (chat), Mixtral, GPT3.5-Turbo dan model lain pada penanda aras seperti Natural Questions, TriviaQA dan HotpotQA. Model besar Cohere mencapai peneraju.

Penggunaan alat yang berkuasa

Model bahasa besar harus menjadi enjin inferens teras yang boleh mengautomasikan tugas dan mengambil tindakan sebenar, bukan hanya mesin yang mengekstrak dan menjana teks. Command-R mencapai matlamat ini dengan menggunakan alat (API) seperti jurubahasa kod dan alatan lain yang ditentukan pengguna yang membolehkan model mengautomasikan tugas yang sangat kompleks.

Ciri Penggunaan Alat membolehkan pembangun perusahaan menjadikan Command-R sebagai enjin untuk menyokong tugas dan aliran kerja yang memerlukan penggunaan "infrastruktur dalaman seperti pangkalan data dan alat perisian" serta "alat luaran seperti CRM dan enjin carian "automasi. Ini membolehkan kami mengautomasikan tugas manual yang memakan masa yang merangkumi berbilang sistem dan memerlukan penaakulan yang kompleks dan membuat keputusan.

Gambar di bawah menunjukkan perbandingan keupayaan penaakulan berbilang langkah antara Command-R dan Llama 2 70B (sembang), Mixtral dan GPT3.5-turbo apabila menggunakan alat carian. Set data yang digunakan di sini ialah HotpotQA dan Bamboogle.

Keupayaan penjanaan berbilang bahasa

Model Command-R bagus dalam 10 bahasa perniagaan utama di seluruh dunia, termasuk bahasa Inggeris, Perancis, Sepanyol, Itali, Jerman, Portugis, Jepun, Korea, Arab dan Cina.

Selain itu, model Cohere's Embed dan Rerank secara asli menyokong lebih 100 bahasa. Ini membolehkan pengguna mendapatkan jawapan daripada pelbagai sumber data, menyampaikan perbualan yang jelas dan tepat dalam bahasa ibunda mereka, tanpa mengira bahasa.

Gambar di bawah menunjukkan perbandingan antara Command-R dan Llama 2 70B (chat), Mixtral, GPT3.5-turbo pada MMLU dan FLORES berbilang bahasa.

Konteks yang lebih panjang dan harga yang lebih rendah

Command-R menyokong tetingkap konteks yang lebih panjang - 128k token. Peningkatan ini juga mengurangkan harga API terurus Cohere dan meningkatkan kecekapan penggunaan awan peribadi Cohere dengan ketara. Dengan menggabungkan tetingkap konteks yang lebih panjang dengan harga yang lebih murah, Command-R membuka kunci kes penggunaan RAG di mana konteks tambahan boleh meningkatkan prestasi dengan ketara.

Harga khusus adalah seperti berikut, di mana versi Command berharga 1 USD untuk 1 juta token input dan 1 juta token output untuk 2 USD; versi Command-R berharga 0.5 USD untuk 1 juta token input dan 1 juta token keluaran.

Tidak lama lagi, Cohere juga akan mengeluarkan laporan teknikal ringkas untuk menunjukkan lebih banyak butiran model.

Alamat blog: https://txt.cohere.com/command-r/

Atas ialah kandungan terperinci Dengan 35 bilion parameter dan pemberat terbuka, pengarang Transformer melancarkan model besar baharu selepas memulakan perniagaannya sendiri.. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!