Ollama を使用した Node.js API を使用してローカルで独自の LLM を実行および作成する

このガイドでは、ローカル マシン上で大規模言語モデル (LLM) を実行し、独自の LLM を作成する方法を学習します。 Node.js の ollama-js ライブラリを使用してカスタム モデルの API を作成する方法についても説明します。

ステップ 1: Ollama のインストール

Ollama は、そのシンプルさと GPU を多用しないマシンとの互換性により、LLM をローカルで実行するのに理想的な選択肢です。まずは公式 Web サイトから Ollama をインストールします:

オラマ公式サイト

ステップ 2: 希望する LLM モデルの選択

Ollama をインストールすると、利用可能なさまざまな LLM モデルから選択できます。利用可能なモデルのリストは、GitHub リポジトリで見つけることができます:

Ollama GitHub リポジトリ

ステップ 3: モデルをローカルで実行する

モデルをローカルで実行するには、ターミナルで次のコマンドを使用します。 Ollama がモデルをローカルにダウンロードして保存するため、最初の実行には時間がかかる場合があることに注意してください。モデルはローカルにアクセスされるため、後続の実行は高速になります。

ollama run {model_name}

ステップ 4: 独自の LLM を作成する

カスタム LLM を作成するには、モデル ファイルを作成する必要があります。以下はモデルを定義する方法の例です:

FROM <name_of_your_downloaded_model>

# Define your parameters here
PARAMETER temperature 0.5

SYSTEM """
You are an English teaching assistant named Mr. Kamal Kishor. You help with note-making, solving English grammar assignments, and reading comprehensions.
"""

これをモデルファイルとして保存します。このファイルからモデルを作成するには、ターミナルで次のコマンドを実行します:

ollama create mrkamalkishor -f ./modelfile

モデルを作成した後、以下を使用してローカルでモデルを操作できます。

ollama run mrkamalkishor

ステップ 5: カスタム モデル用の Node.js API を作成する

このステップでは、ollama-js ライブラリを使用して Node.js で API を作成します。

1. Node.js プロジェクトに Ollama ライブラリをインストールします。

npm install ollama

1. API エンドポイントを作成します。

import express from 'express';
import ollama from 'ollama';

const app = express();
const router = express.Router();

app.use(express.json());

router.post('/ask-query', async (req, res) => {
  const { query } = req.body;

  try {
    const response = await ollama.chat({
      model: 'mrkamalkishor',
      messages: [{ role: 'user', content: query }],
    });

    res.json({ reply: response.message.content });
  } catch (error) {
    res.status(500).send({ error: 'Error interacting with the model' });
  }
});

app.use('/api', router);

const PORT = process.env.PORT || 3000;
app.listen(PORT, () => {
  console.log(`Server is running on port ${PORT}`);
});

このコードは、カスタム モデルと対話するためのエンドポイントを備えた Express.js サーバーをセットアップします。ユーザーのクエリを含む JSON 本文を使用して /ask-query に対して POST リクエストが行われると、サーバーはモデルの出力で応答します。

まとめ

これらの手順に従うことで、Ollama をインストールし、ローカルで LLM を選択して実行し、カスタム LLM を作成し、それと対話する Node.js API をセットアップすることができます。このセットアップにより、GPU を大量に使用するハードウェアを必要とせずに、ローカル マシン上で強力な言語モデルを活用できるようになります。

以上がOllama を使用した Node.js API を使用してローカルで独自の LLM を実行および作成するの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。