Menjalankan LLM tempatan (Ollama) dalam projek nodejs anda.

Kita semua menyukai AI, dan sejak beberapa tahun kebelakangan ini ledakan dalam Kecerdasan Buatan telah mengubah dunia dan membawanya ke era baharu. Untuk sebarang masalah penggunaan, terdapat kes penggunaan AI, iaitu bertanya Gemini tentang resipi masakan, Chatgpt untuk tugasan, Claude untuk pengaturcaraan, V0 untuk reka bentuk bahagian hadapan, pembangun dan pelajar sangat bergantung pada AI pada hari ini yang membawa kepada hampir setiap hari baharu permulaan muncul yang menampilkan AI.

Ini membawa kepada calon pembangun seperti saya soalan tentang bagaimana saya boleh membuat sesuatu seperti ini? Jawapannya ada dalam gambar di atas sahaja. Panggilan API kepada model ini. Tetapi, mereka tidak murah dan pelajar yang menganggur seperti saya tidak mempunyai cara untuk membeli langganan. Ini membawa kepada idea untuk menjalankan AI secara tempatan dan kemudian menyampaikannya pada port untuk panggilan api. Artikel ini akan memberi anda panduan langkah demi langkah tentang cara anda boleh menyediakan Ollama dan mengakses LLM melalui kod nodej anda.

Memasang Ollama

Langkah ini adalah untuk pengguna windows. Jika anda menggunakan sistem pengendalian lain, ikuti panduan ini.

• Pergi ke Ollama, dan muat turun pemasang mereka.

• Setelah selesai, hidupkan persediaan dan Pasang aplikasi.

• Ini kemudiannya akan memasang klien pada mesin anda, dan kini anda boleh pergi ke bahagian perpustakaan tapak web rasmi ollama untuk memilih model yang anda mahu gunakan.

• Di sini, saya akan menggunakan codellama:7b untuk mesin saya.
• Buka CMD atau Powershell anda dan jalankan perintah ollama run , ini akan memuat turun model pada mesin anda jika ia sudah tidak wujud dan kemudian akan menjalankannya.

Menyajikan LLM di Pelabuhan

• Kini anda mempunyai Ollama pada sistem anda dan juga mempunyai LLM yang diperlukan, jadi langkah seterusnya ialah menyampaikannya pada port mesin anda untuk apl nod anda mengaksesnya.
• Sebelum meneruskan, tutup Ollama dari latar belakang dan semak sama ada port lalai yang diberikan kepada ollama kosong atau tidak dengan menggunakan arahan ini Servis ollama, jika ini menimbulkan ralat maka ini bermakna pelabuhan telah diduduki.
• Anda perlu mengosongkan port itu sebelum meneruskan, port lalai untuk Ollama ialah 11434
• Gunakan arahan berikut untuk menyemak proses yang sedang berjalan pada port tersebut netstat -ano | findstr :11434
• Catat PID daripada hasil di atas dan gunakan arahan ini untuk mengosongkan port. taskkill /PID /F
• Setelah selesai buka terminal cmd baharu dan jalankan arahan berikut ollama berkhidmat
• Kini anda akan melihat sesuatu seperti ini yang bermaksud LLM anda kini boleh diakses melalui panggilan API.

Menggunakan pakej npm ollama untuk pengendalian respons req

• Mulakan projek nod anda dengan mengikut arahan

npm init -y
npm i typescript ollama
npx tsc --init

• ini akan membuat repo untuk anda mula bekerja, mula-mula pergi ke fail tsconfig.json, nyahkomen dan tetapkan nilai ini

"rootDir": "./src",
"outDir": "./dist",

• Buat folder src dan di dalam folder buat fail index.js.

import ollama from 'ollama';

async function main() {
    const response = await ollama.chat({
        model: 'codellama:7b',
        messages: [
            {
                role: 'user', 
                content: 'What color is the sky?'
            }
        ],
    })
    console.log(response.message.content)

}

main()

• Sekarang sebelum menjalankan kod, edit skrip dalam package.json

"scripts": {
    "dev": "tsc -b && node dist/index.js"
  },

• Ini akan membina kod ts menjadi kod js untuk dijalankan.
• Jalankan aplikasi dengan menggunakan arahan npm jalankan dev di dalam terminal.

• Ada anda. Akhirnya dapat mengakses LLM tempatan anda dengan nodejs.
• Anda boleh membaca lebih lanjut tentang pakej nod ollama di sini.

Terima kasih kerana membaca, Harap artikel ini dapat membantu anda dalam apa jua keadaan dan jika ia boleh, sila hubungi sosial saya!

Linkedin | Github

Atas ialah kandungan terperinci Menjalankan LLM tempatan (Ollama) dalam projek nodejs anda.. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!