Panduan langkah demi langkah untuk menggunakan Groq Llama 3 70B secara tempatan

Penterjemah | Bugatti

Pengulas |.

Semua orang sedang berusaha membina model bahasa besar (LLM) yang lebih baik, seperti Groq memfokuskan pada bahagian infrastruktur AI. Sambutan pantas daripada model besar ini adalah kunci untuk memastikan model besar ini bertindak balas dengan lebih cepat.

Tutorial ini akan memperkenalkan enjin parsing LPU Groq dan cara mengaksesnya secara setempat pada komputer riba anda menggunakan API dan Jan AI. Artikel ini juga akan menyepadukannya ke dalam VSCode untuk membantu kami menjana kod, kod refactor, memasukkan dokumentasi dan menjana unit ujian. Artikel ini akan mencipta pembantu pengaturcaraan kecerdasan buatan kami sendiri secara percuma.

Pengenalan kepada Enjin Inferens LPU Groq

Enjin inferens Groq LPU (Unit Pemprosesan Bahasa) direka untuk menjana respons pantas untuk aplikasi intensif secara pengiraan dengan komponen berjujukan (seperti LLM).

Berbanding dengan CPU dan GPU, LPU mempunyai kuasa pengkomputeran yang lebih berkuasa, yang mengurangkan masa yang diperlukan untuk meramal perkataan dan mempercepatkan penjanaan jujukan teks. Tambahan pula, LPU juga boleh mengendalikan kesesakan memori berbanding GPU, sekali gus memberikan prestasi yang lebih baik pada LLM.

Ringkasnya, teknologi Groq LPU menjadikan LLM anda sangat pantas untuk aplikasi AI masa nyata. Anda mungkin ingin membaca kertas Groq ISCA 2022 (https://wow.groq.com/isca-2022-paper/) untuk mengetahui lebih lanjut tentang seni bina LPU.

Pasang Jan AI

Jan AI ialah aplikasi desktop yang menjalankan model bahasa besar sumber terbuka dan proprietari secara asli. Ia tersedia untuk dimuat turun dalam versi Linux, macOS dan Windows. Kami akan memuat turun Jan AI dan memasangnya dalam Windows Untuk melakukan ini, pergi ke https://github.com/janhq/jan/releases dan klik pada fail dengan sambungan ".exe".

Jika anda ingin menggunakan LLM secara tempatan untuk privasi yang dipertingkatkan, sila baca catatan blog "5 Cara Menggunakan LLM pada Komputer Riba Anda" (https://www.kdnuggets.com/5-ways-to-use- llms-on-your-laptop) dan mula menggunakan model bahasa sumber terbuka yang paling maju.

Buat API Awan Groq

Untuk menggunakan Grog Llama 3 dengan Jan AI, kami memerlukan API. Untuk melakukan ini, kami akan pergi ke https://console.groq.com/ dan membuat akaun Groq Cloud.

Jika anda ingin menguji pelbagai model yang disediakan oleh Groq, anda boleh melakukan ini tanpa sebarang persediaan, cuma pergi ke tab Playground, pilih model, dan tambah input pengguna.

Dalam contoh ini, ia sangat pantas, menjana 310 token sesaat, yang merupakan yang terpantas yang saya lihat setakat ini. Malah Azure AI atau OpenAI tidak boleh mencapai hasil jenis ini.

Untuk menjana kunci API, klik butang "Kunci API" pada panel kiri, kemudian klik butang "Buat Kunci API" untuk mencipta dan menyalin kunci API.

Menggunakan Groq dengan Jan AI

Dalam langkah seterusnya, kami akan menampal kunci API Awan Groq ke dalam aplikasi Jan AI.

Lancarkan aplikasi Jan AI, pergi ke tetapan, pilih pilihan "Groq Inference Engine" dalam bahagian sambungan dan tambah kunci API.

Kemudian, kembali ke tetingkap benang. Dalam bahagian Model, pilih Groq Llama 370B dalam bahagian "Jauh" untuk mula menaip gesaan.

Respons dijana begitu pantas sehingga saya tidak dapat mengikutinya.

NOTA: Versi percuma API ini mempunyai beberapa pengehadan. Sila lawati https://console.groq.com/settings/limits untuk mengetahui lebih lanjut tentang mereka.

Menggunakan Groq dalam VSCode

Seterusnya, kami akan cuba menampal kunci API yang sama ke dalam sambungan CodeGPT VSCode dan membina pembantu pengaturcaraan AI percuma kami sendiri.

Cari sambungan CodeGPT dalam tab sambungan, pasangkannya.

Tab CodeGPT akan muncul membolehkan anda memilih pembekal model.

Apabila anda memilih Groq sebagai pembekal model, ia akan meminta anda untuk kunci API anda. Hanya tampal kunci API yang sama dan kami bersedia untuk pergi. Anda juga boleh menjana kunci API lain untuk CodeGPT.

Sekarang kami akan memintanya untuk mengekod permainan ular. Ia hanya mengambil masa 10 saat untuk menjana dan menjalankan kod.

Permainan ular kami ditunjukkan di bawah.

Anda juga boleh belajar tentang lima pembantu pengaturcaraan AI teratas (https://www.kdnuggets.com/top-5-ai-coding-assistants-you-must-try) dan menjadi pemacu AI pembangun dan saintis data. Ingat, AI bertujuan untuk membantu kami, bukan menggantikan kami, jadi bersikap terbuka terhadapnya dan gunakannya untuk meningkatkan pengekodan anda.

Kesimpulan

Dalam tutorial ini, kami mempelajari tentang enjin inferens Groq dan cara mengaksesnya secara tempatan menggunakan aplikasi Jan AI Windows. Akhir sekali, kami menyepadukannya ke dalam aliran kerja kami dengan menggunakan sambungan CodeGPT VSCode, yang hebat. Ia menjana respons dalam masa nyata untuk pengalaman pembangunan yang lebih baik.

Tajuk asal: Menggunakan Groq Llama 3 70B Secara Tempatan: Panduan Langkah demi Langkah, pengarang: Abid Ali Awan

Pautan: https://www.kdnuggets.com/using-groq-llama-3-70b-locally-step- panduan langkah demi langkah.

Untuk mengetahui lebih lanjut tentang AIGC, sila layari:

51CTO AI.x Community

https://www.51cto.com/aigc/

Atas ialah kandungan terperinci Panduan langkah demi langkah untuk menggunakan Groq Llama 3 70B secara tempatan. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!