Membina AI Chatbot Terdesentralisasi dengan MimirLLM: Tutorial Langkah demi Langkah

Teroka Landskap Chatbot Terdesentralisasi dengan MimirLLM

Tutorial ini membimbing anda membina bot sembang terdesentralisasi menggunakan MimirLLM, perpustakaan komunikasi rakan ke rakan untuk model bahasa AI. Anda akan mencipta sistem di mana nod menjadi hos dan berinteraksi dengan Model Bahasa Besar (LLM) merentas rangkaian terdesentralisasi.

Objektif Pembelajaran Utama:

• Menyediakan MimirLLM dalam mod Nod dan Klien.
• Menggunakan protokol /mimirllm/1.0.0 untuk penemuan rakan sebaya dan komunikasi LLM.
• Menyepadukan OpenAI atau model tersuai seperti Ollama.

Prasyarat:

• Node.js v22.13.0 (LTS) atau lebih baru (muat turun daripada nodejs.org).
• Pilihan: Kunci API Ollama atau OpenAI (untuk penyepaduan model OpenAI atau Ollama).

---

Langkah 1: Pengklonan Repositori dan Pemasangan Kebergantungan

Klon repositori MimirLLM dan pasang kebergantungannya:

git clone https://github.com/your-repo/mimirllm.git
cd mimirllm
npm install

Ini memasang libp2p (untuk komunikasi peer-to-peer) dan openai (untuk interaksi model OpenAI).

Langkah 2: Menyediakan Nod Pengehosan LLM

Konfigurasikan nod untuk menjadi hos LLM dan jadikannya boleh ditemui pada rangkaian.

Membuat Skrip Nod (node.ts):

import { createLibp2p } from './createNode';
import libp2pConfig from '../../shared/libp2p';
import { MimirP2PClient } from '../../shared/mimir';

createLibp2p(libp2pConfig).then(async (node) => {
    console.log('Node listening on:');
    node.getMultiaddrs().forEach((ma) => console.log(ma.toString()));

    const mimir = new MimirP2PClient(node, {
        mode: "node",
        openaiConfig: {
            baseUrl: process.env.OLLAMA_ENDPOINT || "https://api.openai.com/v1",
            apiKey: process.env.OPENAI_API_KEY || null
        }
    });
    await mimir.start();
}).catch((e) => {
    console.error(e);
});

Menjalankan Nod:

tsx node.ts

Nod akan mula mendengar dan mengiklankan LLM yang dihoskannya. Output akan menunjukkan alamat pendengarannya (cth., /ip4/127.0.0.1/tcp/12345/p2p/QmPeerId).

Langkah 3: Membina Pelanggan Interaksi LLM

Buat pelanggan untuk menemui dan berinteraksi dengan LLM yang dihoskan.

Membuat Skrip Pelanggan (client.ts):

import { createLibp2p } from "libp2p";
import libp2pConfig from "../../shared/libp2p";
import { MimirP2PClient } from "../../shared/mimir";
import { createInterface } from "readline";
import { streamToConsole } from "../utils/stream";

// ... (rest of the client.ts code remains the same)

Menjalankan Pelanggan:

tsx client.ts

Klien menggesa untuk mesej, menemui nod, menghantar mesej dan menstrim respons.

Langkah 4: Gambaran Keseluruhan Protokol

MimirLLM menggunakan:

• Protokol Penemuan (/mimirllm/1.0.0/identify): Untuk penemuan rakan sebaya dan komunikasi awal. Pertanyaan pelanggan untuk LLM; nod bertindak balas dengan model dihoskan mereka.
• Protokol Interaksi LLM (/mimirllm/1.0.0): Untuk pertukaran mesej. Pelanggan menghantar mesej; nod memajukannya ke LLM dan menstrimkan kembali respons.

Langkah 5: Penyesuaian LLM

MimirLLM menyokong OpenAI dan Ollama. Konfigurasikan MimirP2PClient untuk menggunakan LLM pilihan anda. Untuk Ollama, tetapkan baseUrl ke titik akhir anda; untuk OpenAI, berikan kunci API anda.

Langkah 6: Penambahbaikan Masa Depan

Potensi penambahbaikan pada masa hadapan termasuk mekanisme penemuan yang mantap, penyepaduan rantaian blok untuk memberi insentif kepada penyertaan nod dan sokongan untuk LLM tambahan.

---

MimirLLM memperkasakan AI terdesentralisasi. Terokai keupayaannya, menyumbang kepada pembangunannya, dan kongsi aplikasi AI terdesentralisasi anda. Selamat mengekod! ?

Atas ialah kandungan terperinci Membina AI Chatbot Terdesentralisasi dengan MimirLLM: Tutorial Langkah demi Langkah. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!