Heim >Technologie-Peripheriegeräte >KI >Umarme Face's Text Generation Inference Toolkit für LLMs - Ein Game Changer in AI
Nutzen Sie die Kraft des Umarmungsgezwidr -Inferenz (TGI): Ihr lokaler LLM -Server
große Sprachmodelle (LLMs) revolutionieren KI, insbesondere in der Textgenerierung. Dies hat zu einem Anstieg der Tools geführt, mit denen die LLM -Bereitstellung vereinfacht wurde. Die Umarmung von Face's Text Generation Inference (TGI) fällt auf und bietet einen leistungsstarken, produktionsbereiten Rahmen für das lokale Ausführen von LLMs als Service. Dieser Leitfaden untersucht die Funktionen von TGI und zeigt, wie man sie für eine ausgefeilte KI -Textgenerierung nutzt.
verstehen
TGI, ein Rost- und Python -Framework, ermöglicht die Bereitstellung und das Servieren von LLMs auf Ihrer lokalen Maschine. Im Rahmen von HFoilv1.0 lizenziert es für die kommerzielle Verwendung als ergänzendes Instrument. Die wichtigsten Vorteile sind:
tgi verfügt über optimierte Architekturen für eine schnellere Ausführung von LLMs wie LLAMA, Falcon7b und Mistral (siehe Dokumentation für die vollständige Liste).
Umarmung ist ein zentraler Hub für Open-Source-LLMs. Bisher waren viele Modelle zu ressourcenintensiv für die lokale Nutzung und erforderten Cloud-Dienste. Fortschritte wie Qlora und GPTQ -Quantisierung haben jedoch einige LLMs auf lokalen Maschinen überschaubar gemacht.
TGI löst das Problem der LLM -Startzeit. Indem es das Modell vorbereitet, bietet es sofortige Antworten und beseitigt lange Wartezeiten. Stellen Sie sich vor, Sie hätten einen Endpunkt, der für eine Reihe von erstklassigen Sprachmodellen leicht zugänglich ist.
Die Einfachheit von
TGI ist bemerkenswert. Es ist für den nahtlosen Einsatz von optimierten Modellarchitekturen und Durchführungen mehrere Live -Projekte ausgelegt, darunter:
Wichtiger Hinweis:
TGI ist derzeit nicht mit ARM-basierten GPU-Macs (M1 und später) inkompatibel.Es werden zwei Methoden vorgestellt: von Grund auf neu und mit Docker (für den Einfachheit halber empfohlen).
Methode 1: Von Grund auf (komplexer)
curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh
conda create -n text-generation-inference python=3.9 && conda activate text-generation-inference
sudo
) Anweisungen, die für die Kürze weggelassen werden, siehe den Originaltext. git clone https://github.com/huggingface/text-generation-inference.git
cd text-generation-inference/ && BUILD_EXTENSIONS=False make install
Methode 2: Verwenden von Docker (empfohlen)
volume=$PWD/data && sudo docker run --gpus all --shm-size 1g -p 8080:80 -v $volume:/data ghcr.io/huggingface/text-generation-inference:0.9 --model-id tiiuae/falcon-7b-instruct --num-shard 1 --quantize bitsandbytes
Ersetzen Sie "all"
durch "0"
Wenn Sie eine einzelne GPU verwenden. Interagieren Sie nach dem Start von TGI mit der Postanforderung in den Endpunkt /generate
(oder /stream
zum Streaming). Beispiele mit Python und Curl finden Sie im Originaltext. Die text-generation
Python -Bibliothek (pip install text-generation
) vereinfacht die Interaktion.
Umarmung Face TGI bietet eine benutzerfreundliche Möglichkeit zum Bereitstellen und Host-LLMs lokal und bietet Vorteile wie Datenschutz und Kostenkontrolle. Die jüngsten Fortschritte machen es für viele Benutzer möglich. Weitere Untersuchungen fortschrittlicher LLM -Konzepte und -Ressourcen (im Originaltext genannt) wird für das fortgesetzte Lernen sehr empfohlen.
Das obige ist der detaillierte Inhalt vonUmarme Face's Text Generation Inference Toolkit für LLMs - Ein Game Changer in AI. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!