Pytorch -Tutorial: Lokales Setup mit Python

Torchchat: Bringen Sie die Folgerung des großartigen Modells in Ihre lokale Maschine

große Sprachmodelle (LLMs) verändern die Technologie, aber die Bereitstellung auf persönlichen Geräten war aufgrund von Hardware -Einschränkungen eine Herausforderung. Das neue Torchat -Framework von Pytorch behandelt dies und ermöglicht eine effiziente LLM -Ausführung über verschiedene Hardware -Plattformen, von Laptops bis hin zu mobilen Geräten. Dieser Artikel bietet einen praktischen Leitfaden zum Einrichten und Verwenden von Torchchat lokal mit Python.

Pytorch, Facebooks AI Research Lab's (fair) Open-Source-Rahmen für maschinelles Lernen, unterpins Torchchat. Die Vielseitigkeit erstreckt sich auf Computer Vision und natürliche Sprachverarbeitung.

Torchchats Schlüsselmerkmale:

Torchchat bietet vier Kernfunktionen:

1. Python/Pytorch LLM Ausführung:
LLMs auf Maschinen mit python und pytorch installiert und direkt über den Terminal oder einen REST -API -Server interagieren. Dieser Artikel konzentriert sich auf dieses Setup.
2. in sich geschlossene Modellbereitstellung:
Verwendung von AOT-Induktiven (präsent-of-Time-Induktor) und erstellt unabhängig von Python und Pytorch in sich geschlossene ausführbare ausführbare Ausführungen (dynamische Bibliotheken). Dies gewährleistet eine stabile Modellruntime in Produktionsumgebungen ohne Neukompilation. AOT -Induktor optimiert die Bereitstellung durch effiziente Binärformate und übertrifft den Overhead von Torchscript.
3. Ausführung von Mobilgeräten:
Nutzung von Executorch, Torchchat optimiert Modelle für mobile und eingebettete Geräte und erzeugt PTE -Artefakte für die Ausführung.
4. Modellbewertung: lm_eval LLM -Leistung unter Verwendung des
-Frahmens bewerten, entscheidend für Forschung und Benchmarking.

Warum llms lokal ausführen?

lokale LLM -Ausführung bietet mehrere Vorteile:

• Verbesserte Privatsphäre:
ideal für sensible Daten im Gesundheitswesen, Finanzierungen und Rechtsbranche, damit sichergestellt wird, dass Daten innerhalb der Organisationsinfrastruktur bestehen.
• Echtzeitleistung:
minimiert die Latenz für Anwendungen, die schnelle Antworten benötigen, z. B. interaktive Chatbots und Echtzeit-Inhaltegenerierung.
• Offline -Funktion:
Ermöglicht die LLM -Nutzung in Bereichen mit begrenzter oder keiner Internetverbindung.
• Kostenoptimierung:
kostengünstiger als die Verwendung von Cloud-API-Verwendung für hochvolumige Anwendungen.

Lokales Setup mit Python: Eine Schritt-für-Schritt-Anleitung

1. Klonen Sie das Repository:

   Das Torchchat -Repository mit Git:

   git clone git@github.com:pytorch/torchchat.git

   klonen
   Alternativ alternativ direkt von der Github -Schnittstelle herunterladen.

   

2. Installation:

   unter der Annahme, dass Python 3.10 installiert ist, erstellen Sie eine virtuelle Umgebung:

   python -m venv .venv
   source .venv/bin/activate

   Abhängigkeiten mit dem bereitgestellten Skript installieren:

   ./install_requirements.sh

   Installation überprüfen:

   git clone git@github.com:pytorch/torchchat.git

3. Verwenden Sie Torchchat:

   • Auflistung unterstützte Modelle:

     python -m venv .venv
     source .venv/bin/activate

     

   • Herunterladen eines Modells: Installieren Sie die Umarmungsgesichts -CLI (pip install huggingface_hub), erstellen Sie ein umarmendes Gesichtskonto, generieren Sie ein Zugriffstoken und melden Sie sich an (huggingface-cli login). Laden Sie ein Modell herunter (z. B. stories15M):

     ./install_requirements.sh

   • Ausführen eines Modells: Text erzeugen:

     python torchchat.py --help

     oder Chat -Modus verwenden:

     python torchchat.py list

   • Zugriff anfordern: für Modelle, die Zugriff benötigen (z. B. llama3), befolgen Sie die Anweisungen in der Fehlermeldung.

   

Erweiterte Verwendung: Feinabstimmung

• Präzisionskontrolle (--dtype): Datentyp für Geschwindigkeits-/Genauigkeitskompromisse einstellen (z. B. --dtype fast).
• Just-in-Time (JIT) -Kompilation (--compile): verbessert die Inferenzgeschwindigkeit (erhöht die Startzeit).
• quantisierung (--quantize): reduziert die Modellgröße und verbessert die Geschwindigkeit mithilfe einer JSON -Konfigurationsdatei.
• Gerätespezifikation (--device): Geben Sie das Gerät an (z. B. --device cuda).

Schlussfolgerung

Torchchat vereinfacht die lokale LLM -Ausführung und macht die erweiterte KI zugänglicher. Dieser Leitfaden bietet eine Grundlage für die Erkundung seiner Fähigkeiten. Weitere Untersuchungen zu den Funktionen von Torchchat sind dringend zu empfehlen.

Das obige ist der detaillierte Inhalt vonPytorch -Tutorial: Lokales Setup mit Python. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!