擁抱臉部的文本生成推理工具包 - ai中的遊戲改變者

利用擁抱面部文本生成推理的力量（TGI）：您的本地LLM服務器

大型語言模型（LLM）正在徹底改變AI，尤其是在文本生成中。 這導致了旨在簡化LLM部署的工具的激增。 擁抱Face的文本生成推斷（TGI）脫穎而出，為當地運行LLMS作為服務提供了一個強大的，可提供生產的框架。 本指南探討了TGI的功能，並演示瞭如何利用它為複雜的AI文本生成。

了解擁抱臉TGI

TGI，一個生鏽和Python框架，可以在本地機器上的LLMS部署和服務。 根據HFOILV1.0許可，適用於商業用途作為補充工具。 它的主要優點包括：

高性能文本生成：
• TGI使用張量並行性和動態批處理優化性能，例如Starcoder，Bloom，GPT-Neox，Llama和T5。 >有效的資源用法：
連續批處理和優化代碼最小化資源消耗時，同時處理多個請求。 >
• >靈活性：它支持安全和保障功能，例如水印，偏置控制的logit翹曲和停止序列。
• TGI擁有優化的體系結構，以更快地執行LLMS，例如Llama，Falcon7b和Mismtral（請參閱完整列表的文檔）。 為什麼選擇擁抱臉tgi？
擁抱面是開源LLM的中心樞紐。 以前，許多模型對於本地使用而言過於資源密集型，需要雲服務。 但是，諸如Qlora和GPTQ量化之類的進步使一些LLM在本地機器上可管理。

> TGI解決了LLM啟動時間的問題。 通過準備好模型，它提供了即時響應，消除了冗長的等待時間。 想像一下，端點很容易訪問一系列頂級語言模型。

> tgi的簡單性值得注意。 它旨在無縫部署流線型的模型架構，並為幾個實時項目提供動力，包括：

擁抱聊天

> openassistant

nat.dev

• 重要說明： tgi當前與基於ARM的GPU MAC（M1及以後）不相容。 >
• 設置擁抱的臉TGI
提出了兩種方法：從划痕和使用docker（為簡單起見）。

• > 方法1：從頭開始（更複雜）

  >
  1. >安裝Rust：curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh
  2. 創建一個python虛擬環境：conda create -n text-generation-inference python=3.9 && conda activate text-generation-inference
  >
  3. >安裝ProtoC（推薦版本21.12）：（要求sudo）省略了說明，請參閱原始文本。
  克隆github存儲庫：
  4. git clone https://github.com/huggingface/text-generation-inference.git>
  >安裝TGI：
  5. cd text-generation-inference/ && BUILD_EXTENSIONS=False make install

  方法2：使用docker（推薦）>

  確保安裝並運行Docker。
  （首先檢查兼容性）運行docker命令（使用falcon-7b的示例）：
  2. 替換volume=$PWD/data && sudo docker run --gpus all --shm-size 1g -p 8080:80 -v $volume:/data ghcr.io/huggingface/text-generation-inference:0.9 --model-id tiiuae/falcon-7b-instruct --num-shard 1 --quantize bitsandbytes"all"如果使用單個gpu。 "0"
  在應用程序中使用TGI

  >啟動TGI後，使用郵政請求與

  >端點（或用於流媒體）進行交互。 原始文本中提供了使用Python和Curl的示例。

  python庫（/generate）簡化了交互。 /stream> text-generation實用的技巧和進一步的學習pip install text-generation

  了解LLM基礎知識：
  熟悉令牌化，注意機制和變壓器體系結構。
  • >模型優化：
  學習如何準備和優化模型，包括選擇正確的模型，自定義tokenizers和微調。
  • 生成策略：探索不同的文本生成策略（貪婪搜索，梁搜索，頂級樣本）。
  • 結論 >擁抱面TGI提供了一種用戶友好的方式來部署和主機在本地部署LLM，從而提供了諸如數據隱私和成本控制之類的好處。在需要強大的硬件時，最近的進步使其對許多用戶來說是可行的。 強烈建議對先進的LLM概念和資源進行進一步探索。

以上是擁抱臉部的文本生成推理工具包 - ai中的遊戲改變者的詳細內容。更多資訊請關注PHP中文網其他相關文章！