Docker三分鐘搞定LLama3開源大模型本地部署

概述

LLaMA-3（Large Language Model Meta AI 3）是由Meta公司開發的大型開源生成式人工智慧模型。它在模型結構上與前一代LLaMA-2相比沒有太大的變動。

LLaMA-3模型分為不同規模的版本，包括小型、中型和大型，以適應不同的應用需求和運算資源。小型模型參參數規模為8B，中型模型參參數規模為70B，而大型模型參參數規模則達400B。然而在訓練中，目標是實現多模態、多語言的功能，預計結果將與GPT 4/GPT 4V相當。

安裝 Ollama

Ollama 是一個開源的大型語言模型（LLM）服務工具，它允許使用者在本機上執行和部署大型語言模型。 Ollama 設計為一個框架，在簡化在 Docker 容器中部署和管理大型語言模型的過程，使得這個過程變得簡單又快速。使用者可以透過簡單的命令列操作，快速在本地運行如 Llama 3 這樣的開源大型語言模型。

官網網址：https://ollama.com/download

圖片

Ollama是支援多種平台的工具，包括Mac和Linux，並提供了Docker映像以簡化安裝過程。使用者可以透過編寫Modelfile來導入和自訂更多的模型，這類似於Dockerfile的作用。 Ollama還具備一個REST API，用於運行和管理模型，以及一個用於模型互動的命令列工具集。

Ollama服務啟動日誌

圖片

#模型管理

下載模型

ollama pull llama3:8b

預設下載的是llama3:8b。這裡冒號前面代表模型名稱，冒號後面代表tag，可以從這裡查看llama3的所有tag

#圖片

##模型測試

注意：如果想讓模型中文回复，請先輸入：你好！請中文回覆

圖片

#配置Open-WebUI

在CPU下執行

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

圖片

造訪

輸入位址http://127.0.0.1:3000 進行存取

#圖片

初次訪問需要註冊，這裡我註冊一個帳號，註冊完成登入成功

##圖片 切換中文語言

圖片下載llama3:8b模型

llama3:8b

圖片

下載完成

#使用

#選擇模型

圖片使用模型

圖片

注意：如果你想讓模型中文回复，請先輸入：你好！請中文回覆

圖片記憶體##圖片

## ####################

以上是Docker三分鐘搞定LLama3開源大模型本地部署的詳細內容。更多資訊請關注PHP中文網其他相關文章！