Nodejs プロジェクトでローカル LLM (Ollama) を実行します。

私たちは皆 AI を愛しており、近年の人工知能のブームは世界を変え、新しい時代を迎えています。どのような使用上の問題にも AI の使用例があり、Gemini に料理のレシピを尋ねたり、Chatgpt に課題を尋ねたり、Claude にプログラミングを尋ねたり、フロントエンド設計の V0 では、最近、開発者や学生が AI に大きく依存しているため、ほぼ毎日、これを特徴とするスタートアップが登場しています。 AI.

これは、私のような野心的な開発者にとって、どうすればこのようなものを作成できるのかという疑問につながります。答えは上の写真だけです。これらのモデルへの API 呼び出し。しかし、料金は決して安くはなく、私のような失業中の学生には定期購読を購入する手段がありません。これにより、AI をローカルで実行し、API 呼び出しのためにポートで提供するというアイデアが生まれました。この記事では、Ollama をセットアップし、nodejs コードを介して LLM にアクセスする方法について段階的に説明します。

Ollama のインストール

この手順は Windows ユーザー向けです。他のオペレーティング システムを使用している場合は、このガイドに従ってください。

• Ollama に移動し、インストーラーをダウンロードします。

• 完了したら、セットアップを起動し、アプリケーションをインストールします。

• これにより、マシンにクライアントがインストールされ、ollam の公式 Web サイトのライブラリ セクションに移動して、使用するモデルを選択できるようになります。

• ここでは、マシンに codellama:7b を使用します。
• CMD または Powershell を開き、コマンド ollama run を実行します。これにより、モデルがまだ存在しない場合はマシンにモデルがダウンロードされ、実行されます。

ポートで LLM を提供しています

• システム上に Ollama があり、必要な LLM も用意されているので、次のステップでは、ノード アプリがアクセスできるようにマシンのポート上で Ollama を提供します。
• 続行する前に、バックグラウンドから Ollama を閉じ、次のコマンドを使用して、ollam に割り当てられているデフォルトのポートが空かどうかを確認してください。 ollamserve でエラーがスローされた場合、ポートが占有されていることを意味します。
• 続行する前にそのポートをクリアする必要があります。Ollama のデフォルトのポートは 11434 です。
• 次のコマンドを使用して、そのポートでどのプロセスが実行されているかを確認します netstat -ano |検索文字列:11434
• 上記の結果から PID をメモし、このコマンドを使用してポートをクリアします。 taskkill /PID /F
• 完了したら、新しい cmd ターミナルを開いて次のコマンドを実行します オラマサーブ
• 次のようなものが表示されます。これは、LLM が API 呼び出しを通じてアクセスできることを意味します。

要求応答処理に ollama npm パッケージを使用する

• 次のコマンドに従ってノード プロジェクトを開始します。

npm init -y
npm i typescript ollama
npx tsc --init

• これにより、作業を開始するためのリポジトリが作成されます。まず tsconfig.json ファイルに移動し、コメントを解除してこれらの値を設定します

"rootDir": "./src",
"outDir": "./dist",

• src フォルダーを作成し、そのフォルダー内にindex.js ファイルを作成します。

import ollama from 'ollama';

async function main() {
    const response = await ollama.chat({
        model: 'codellama:7b',
        messages: [
            {
                role: 'user', 
                content: 'What color is the sky?'
            }
        ],
    })
    console.log(response.message.content)

}

main()

• コードを実行する前に、package.json 内のスクリプトを編集します。

"scripts": {
    "dev": "tsc -b && node dist/index.js"
  },

• これにより、ts コードが実行用の js コードにビルドされます。
• コマンドを使用してアプリケーションを実行します npm はターミナル内で dev を実行します。

• そこです。ついに、nodejs を使用してローカル LLM にアクセスできるようになりました。
• ノード パッケージ ollam について詳しくは、こちらをご覧ください。

読んでいただきありがとうございます。この記事が何らかの形で役に立てば幸いです。もし役に立った場合は、私のソーシャル メディアでお気軽にご連絡ください!

リンクトイン |ギットハブ

以上がNodejs プロジェクトでローカル LLM (Ollama) を実行します。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。