使用 Ollama 透過 Node.js API 在本地運行和建立您自己的 LLM

在本指南中，您將學習如何在本機電腦上執行大型語言模型 (LLM) 並建立您自己的 LLM。我們還將介紹如何使用 Node.js 中的 ollama-js 函式庫為您的自訂模型建立 API。

第1步：安裝Ollama

Ollama 是本地運行 LLM 的理想選擇，因為它簡單且與非 GPU 密集型機器相容。首先從官方網站安裝Ollama：

Ollama 官方網站

第 2 步：選擇您喜歡的 LLM 模式

安裝 Ollama 後，您可以從多種可用的 LLM 模型中進行選擇。您可以在其 GitHub 儲存庫上找到可用模型的清單：

Ollama GitHub 儲存庫

第 3 步：在本地運行模型

要在本地運行模型，請在終端機中使用以下命令。請注意，第一次運行可能需要更長的時間，因為 Ollama 在本地下載並儲存模型。由於模型是在本地存取的，後續運行會更快。

ollama run {model_name}

第四步：創立自己的法學碩士

要建立自訂 LLM，您需要建立一個模型檔案。以下是如何定義模型的範例：

FROM <name_of_your_downloaded_model>

# Define your parameters here
PARAMETER temperature 0.5

SYSTEM """
You are an English teaching assistant named Mr. Kamal Kishor. You help with note-making, solving English grammar assignments, and reading comprehensions.
"""

將其儲存為模型檔案。若要從此檔案建立模型，請在終端機中執行以下命令：

ollama create mrkamalkishor -f ./modelfile

建立模型後，您可以使用以下方式在本地與其互動：

ollama run mrkamalkishor

步驟 5：為自訂模型建立 Node.js API

在這一步驟中，我們將使用 ollama-js 函式庫在 Node.js 中建立 API。

1. 在 Node.js 專案中安裝 Ollama 函式庫：

npm install ollama

1. 建立您的 API 端點：

import express from 'express';
import ollama from 'ollama';

const app = express();
const router = express.Router();

app.use(express.json());

router.post('/ask-query', async (req, res) => {
  const { query } = req.body;

  try {
    const response = await ollama.chat({
      model: 'mrkamalkishor',
      messages: [{ role: 'user', content: query }],
    });

    res.json({ reply: response.message.content });
  } catch (error) {
    res.status(500).send({ error: 'Error interacting with the model' });
  }
});

app.use('/api', router);

const PORT = process.env.PORT || 3000;
app.listen(PORT, () => {
  console.log(`Server is running on port ${PORT}`);
});

此程式碼設定了一個帶有端點的 Express.js 伺服器，以與您的自訂模型進行互動。當使用包含使用者查詢的 JSON 正文向 /ask-query 發出 POST 請求時，伺服器會使用模型的輸出進行回應。

概括

透過執行以下步驟，您可以安裝 Ollama、在本機選擇並執行 LLM、建立自訂 LLM，並設定 Node.js API 與之互動。此設定可讓您在本機上利用強大的語言模型，而無需 GPU 密集型硬體。

以上是使用 Ollama 透過 Node.js API 在本地運行和建立您自己的 LLM的詳細內容。更多資訊請關注PHP中文網其他相關文章！