Pytorch＆＃x27; torchchat教程：與Python的本地設置

> Torchchat：將大型語言模型推理到您的本地計算機

> 大型語言模型（LLM）正在轉換技術，但是由於硬件限制，將它們部署在個人設備上一直具有挑戰性。 Pytorch的新Torchchat Framework解決了這一點，從筆記本電腦到移動設備，可以在各種硬件平台上有效地執行LLM。 本文提供了一個實用的指南，可以在本地使用Python進行設置和使用Torchchat。 Facebook的AI Research Lab（公平）開源機器學習框架，Bunderpins Torchchat。 它的多功能性擴展到計算機視覺和自然語言處理。

> Torchchat的關鍵特徵：

> Torchchat提供四個核心功能：

> python/pytorch llm執行：在機器上運行llms，並安裝了Python和Pytorch，直接通過終端或REST API服務器進行交互。 本文重點介紹此設置。

1. 自包含的模型部署：使用AOT電感器（提前電感器），Torchchat創建了獨立於Python和Pytorch的獨立的可執行文件（動態庫）。這樣可以確保在生產環境中穩定的模型運行時，而無需重新編譯。 AOT電感器通過有效的二進制格式優化部署，超過了火炬的開銷。
2. >移動設備執行：利用executorch，Torchchat優化了移動設備和嵌入式設備的模型，生成了執行的PTE工件。 >
3. 模型評估：>使用框架評估LLM性能，對研究和基準測試至關重要。
4. 為什麼在本地運行llms？ > 當地LLM執行提供了幾個優點：lm_eval

增強的隱私：是醫療保健，金融和法律部門敏感數據的理想選擇，確保數據保留在組織基礎架構內。

實時性能：

最大程度地減少需要快速響應的應用程序的延遲，例如Interactive聊天機器人和實時內容生成。

>
• 脫機功能：在有限或沒有互聯網連接的區域中啟用LLM使用。
• 成本優化：比雲API的成本效益更高
python的本地設置：逐步指南
• >
>
• 克隆存儲庫：使用git克隆torchchat存儲庫：

>或者，直接從github接口下載。

>

1. >

   >安裝：

   git clone git@github.com:pytorch/torchchat.git

   假設安裝了Python 3.10，創建一個虛擬環境：>
   >使用提供的腳本安裝依賴項：

   

   驗證安裝：

git clone git@github.com:pytorch/torchchat.git

2. 使用Torchchat：

   • >列表支持的模型：

     python -m venv .venv
     source .venv/bin/activate

     

   • 下載模型：安裝擁抱面CLI（），創建一個擁抱的臉部帳戶，生成訪問令牌，然後登錄（）。下載模型（例如，）：pip install huggingface_hub> huggingface-cli login stories15M

     ./install_requirements.sh

     >
   運行模型：
   • 生成文本：>

     或使用聊天模式：

     python torchchat.py --help

     >

     python torchchat.py list

     >請求訪問：
   對於需要訪問的模型（例如，
   • ），請按照錯誤消息中的說明進行操作。

     llama3

   高級用法：微調性能

精確控制（

）：

調整速度/準確性權衡的數據類型（例如，
• ）。 --dtypejust-In-time（JIT）彙編（）：--dtype fast>提高推理速度（但增加了啟動時間）。
• 量化（）：--compile使用JSON配置文件降低模型大小並提高速度。
• >設備規範（）：--quantize指定設備（例如，）。
• 結論--device > Torchchat簡化了本地LLM執行，使高級AI更容易訪問。本指南為探索其功能提供了基礎。 強烈建議對Torchchat的特徵進行進一步研究。

以上是Pytorch＆＃x27; torchchat教程：與Python的本地設置的詳細內容。更多資訊請關注PHP中文網其他相關文章！