在您的 Node.js 專案中執行本地 LLM (Ollama)。

我們都熱愛人工智慧，近年來人工智慧的蓬勃發展改變了世界，並將其帶入了一個新時代。對於任何使用問題，都有一個人工智慧的用例，例如向Gemini 詢問烹飪食譜，Chatgpt 詢問作業，Claude 詢問編程， V0 對於前端設計，開發人員和學生現在非常依賴人工智慧，這導致幾乎每天都有一家新創公司出現人工智慧。

這導致像我這樣有抱負的開發者問如何才能製作這樣的東西？答案只在上圖。對這些模型的 API 呼叫。但是，它們並不便宜，像我這樣的失業學生沒有辦法購買訂閱。這就產生了在本地運行 AI，然後在連接埠上提供服務以進行 API 呼叫的想法。本文將逐步指導您如何設定 Ollama 並透過 Nodejs 程式碼存取 LLM。

安裝 Ollama

此步驟適用於 Windows 使用者。如果您使用其他作業系統，請按照本指南操作。

• 前往 Ollama，下載他們的安裝程式。

• 完成後，啟動設定並安裝應用程式。

• 這將在您的電腦上安裝客戶端，現在您可以前往ollama官方網站的庫部分選擇您想要使用的模型。

• 在這裡，我將在我的機器上使用 codellama:7b。
• 開啟您的 CMD 或 Powershell 並執行命令 ollama run ，這將在您的電腦上下載模型（如果模型尚不存在），然後執行它。

在港口提供法學碩士

• 現在您的系統上已經有了 Ollama，並且還擁有所需的 LLM，因此下一步是將其提供到您電腦的連接埠上，以便您的節點應用程式存取它。
• 在繼續之前，請從背景關閉 Ollama 並使用此命令檢查分配給 ollama 的預設連接埠是否為空 ollama 服務，如果拋出錯誤則表示連接埠被佔用。
• 您需要先清除該連接埠才能繼續，Ollama 的預設連接埠是 11434
• 使用以下命令檢查該連接埠上正在執行什麼進程 網路統計-ano |查找字串：11434
• 記下上面結果中的PID並使用此命令清除連接埠。 taskkill /PID ; /F
• 完成後開啟新的cmd終端機並執行以下命令 烏拉馬服務
• 現在您將看到類似這樣的內容，這意味著您的 LLM 現在可以透過 API 呼叫存取。

使用 ollama npm 套件進行請求回應處理

• 按照指令啟動您的節點項目

npm init -y
npm i typescript ollama
npx tsc --init

• 這將為您建立一個儲存庫以開始工作，首先前往 tsconfig.json 文件，取消註釋並設定這些值

"rootDir": "./src",
"outDir": "./dist",

• 建立一個 src 資料夾並在該資料夾內建立 index.js 檔案。

import ollama from 'ollama';

async function main() {
    const response = await ollama.chat({
        model: 'codellama:7b',
        messages: [
            {
                role: 'user', 
                content: 'What color is the sky?'
            }
        ],
    })
    console.log(response.message.content)

}

main()

• 現在，在執行程式碼之前，編輯 package.json 中的腳本

"scripts": {
    "dev": "tsc -b && node dist/index.js"
  },

• 這會將 ts 程式碼建置成 js 程式碼來運行。
• 使用命令運行應用程式 在終端機內運行 npm run dev。

• 你來了。終於能夠使用nodejs存取本地LLM了。
• 您可以在此處閱讀有關節點包 ollama 的更多資訊。

感謝您的閱讀，希望這篇文章能夠在任何情況下為您提供幫助，如果有幫助，請隨時在我的社交媒體上聯繫！

Linkedin | GitHub

以上是在您的 Node.js 專案中執行本地 LLM (Ollama)。的詳細內容。更多資訊請關注PHP中文網其他相關文章！