如何在本地運行Llama 3：完整的指南

>像Llama 3這樣的大型語言模型（LLMS）本地在AI景觀中提供了顯著優勢。 擁抱面孔和其他平台擁護本地部署，使私人和不間斷的模型訪問能夠訪問。本指南探討了本地LLM執行的好處，證明了使用GPT4ALL和OLLAMA，模型服務，VSCODE集成的使用，最後是構建自定義AI應用程序。

>

為什麼要本地Llama 3部署？ 在要求高RAM，GPU和處理能力的同時，進步使本地駱駝3執行越來越可行。關鍵好處包括：

>不間斷的訪問：

避免速率限制和服務中斷。

• 提高了性能：經驗最小的響應生成速度最小。 即使是中檔筆記本電腦也達到每秒50個令牌的速度。
• 增強的安全性：保持對輸入和數據的完全控制，使所有內容保持本地。
>
• 消除API費用和訂閱。 >
>自定義和靈活性：
• 帶有超參數，停止令牌和高級設置的微調模型。
離線功能：
• >使用沒有Internet連接的模型。
所有權和控制權：
• 保留模型，數據和輸出的完全所有權。 更深入地研究雲與本地LLM的使用情況，請參閱我們的文章“雲與本地LLM部署：權衡利弊”。
>
• > llama 3與gpt4all和ollama
>

> gpt4All是一個開源工具，即使沒有GPU，也可以在本地運行LLMS。 其用戶友好的接口都適合技術和非技術用戶。

>

>下載並安裝GPT4All（在官方下載頁面上可用Windows說明）。 啟動應用程序，導航到“下載”部分，選擇“ Llama 3指令”，然後下載。下載後，從“選擇模型”菜單中選擇“ Llama 3指示”。 輸入您的提示並與模型進行交互。 GPU加速度（如果有）將大大加快響應。

olla提供了一種更簡單的方法。下載並安裝Ollama。 打開您的終端/powershell並執行：

（注意：模型下載和聊天機器人的初始化可能需要幾分鐘。）>

>通過終端與聊天機器人進行交互。 鍵入

出口。

ollama run llama3

>在我們的“ 7種用於本地運行LLMS的簡單方法”指南中探索其他工具和框架。

>

>

>本地Llama 3服務器和API訪問/bye

>

>本地服務器可以將Llama 3集成到其他應用程序中。 使用以下方式啟動服務器

ollama run llama3

>通過Ollama系統托盤圖標檢查服務器狀態（右鍵單擊以查看日誌）。

>使用捲曲：

訪問API

ollama serve

（Curl是Linux的原生，但也可以在Windows PowerShell中起作用。

或者，使用Ollama Python軟件包：

curl http://localhost:11434/api/chat -d '{
  "model": "llama3",
  "messages": [
    { "role": "user", "content": "What are God Particles?" }
  ],
  "stream": false
}'

>包裝支持異步調用和流式傳輸以提高效率。

>

> vscode與Codegpt

集成

將千層面的3集成到VSCODE中，以獲取諸如自動完成和代碼建議之類的功能。

啟動Ollama Server（

）。

>

>安裝“ codegpt” Vscode擴展名。
1. ollama serve>配置Codegpt，選擇Ollama作為提供商，而“ Llama3：8b”作為模型（無需API密鑰）。
>使用Codegpt的提示在您的Python文件中生成和完善代碼。
請參閱“為高級配置設置python的Vscode”。

開發本地AI應用程序

本節詳細介紹了創建一個處理DOCX文件，生成嵌入式，利用矢量存儲的AI應用程序進行相似性搜索，並為用戶查詢提供上下文答案。

（詳細的代碼示例和說明是簡潔的，但在原始輸入中可用。）>該過程涉及：>

設置必要的python軟件包。

>使用加載DOCX文件 將文本分成可管理的塊。

>使用Ollama的Llama 3生成嵌入，並將它們存儲在Chroma Vector Store中。
1. >建立一個蘭鍊鍊，以回答問題，併入矢量商店，抹布提示和ollama llm。
2. 創建用於查詢系統的交互式終端應用程序。 DirectoryLoader
4. 此應用程序的完整代碼可在GitHub上獲得（原始輸入中提供的鏈接）。
5. 結論

6. >運行Llama 3本地賦予用戶具有隱私，成本效益和控制權。 本指南展示了開源工具和框架的力量，用於構建複雜的AI應用程序而不依賴雲服務。 提供的示例展示了與流行開發環境的易於集成以及創建自定義AI解決方案的潛力。

以上是如何在本地運行Llama 3：完整的指南的詳細內容。更多資訊請關注PHP中文網其他相關文章！