Stellen Sie Hugging Face-Modelle in Schritten für AWS Lambda bereit

Wollten Sie schon immer ein Hugging Face-Modell in AWS Lambda bereitstellen, sind aber mit Container-Builds, Kaltstarts und Modell-Caching nicht weitergekommen? So geht's mit Scaffoldly in weniger als 5 Minuten.

TL;DR

1. Erstellen Sie in AWS ein EFS-Dateisystem mit dem Namen .cache:

   • Gehen Sie zur AWS EFS-Konsole
   • Klicken Sie auf „Dateisystem erstellen“
   • Nennen Sie es .cache
   • Wählen Sie eine beliebige VPC aus (Scaffoldly kümmert sich um den Rest!)

2. Erstellen Sie Ihre App aus dem Zweig „python-huggingface“:
   

    npx scaffoldly create app --template python-huggingface
   

3. Stellen Sie es bereit:
   

    cd my-app && npx scaffoldly deploy
   

Das ist es! Sie erhalten ein Hugging Face-Modell, das auf Lambda läuft (am Beispiel von openai-community/gpt2), komplett mit ordnungsgemäßem Caching und Container-Bereitstellung.

Profi-Tipp: Für noch mehr Kosteneinsparungen können Sie das EFS-Setup auf eine einzelne AZ im Burstable-Modus anpassen. Scaffoldly ordnet die Lambda-Funktion der VPC, den Subnetzen und der Sicherheitsgruppe des EFS zu.

✨ Schauen Sie sich die Live-Demo und den Beispielcode an!

Das Problem

Die Bereitstellung von ML-Modellen für AWS Lambda umfasst traditionell Folgendes:

• Docker-Container erstellen und verwalten
• Modell-Caching und -Speicherung herausfinden
• Umgang mit den Größenbeschränkungen von Lambda
• Kaltstarts bewältigen
• API-Endpunkte einrichten

Es ist eine Menge Infrastrukturarbeit, wenn man nur einem Model dienen möchte!

Die Lösung

Scaffoldly bewältigt all diese Komplexität mit einer einfachen Konfigurationsdatei. Hier ist eine vollständige Anwendung, die ein Hugging Face-Modell bedient (am Beispiel von openai-community/gpt2):

# app.py
from flask import Flask
from transformers import pipeline
app = Flask(__name__)
generator = pipeline('text-generation', model='openai-community/gpt2')
@app.route("/")
def hello_world():
    output = generator("Hello, world,")
    return output[0]['generated_text']

// requirements.txt
Flask ~= 3.0
gunicorn ~= 23.0
torch ~= 2.5
numpy ~= 2.1
transformers ~= 4.46
huggingface_hub[cli] ~= 0.26

// scaffoldly.json
{
  "name": "python-huggingface",
  "runtime": "python:3.12",
  "handler": "localhost:8000",
  "files": ["app.py"],
  "packages": ["pip:requirements.txt"],
  "resources": ["arn::elasticfilesystem:::file-system/.cache"],
  "schedules": {
    "@immediately": "huggingface-cli download openai-community/gpt2"
  },
  "scripts": {
    "start": "gunicorn app:app"
  },
  "memorySize": 1024
}

Wie es funktioniert

Scaffoldly macht hinter den Kulissen einige clevere Dinge:

1. Intelligenter Containerbau:

   • Erstellt automatisch einen für Lambda optimierten Docker-Container
   • Verwaltet alle Python-Abhängigkeiten, einschließlich PyTorch
   • Schiebt an ECR, ohne dass Sie Docker-Befehle schreiben müssen

2. Effiziente Modellverwaltung:

   • Verwendet Amazon EFS zum Zwischenspeichern der Modelldateien
   • Ladet Modelle nach der Bereitstellung vorab herunter, um einen schnelleren Kaltstart zu ermöglichen
   • Fügt den Cache automatisch in Lambda ein

3. Lambda-Ready-Setup:

   • Rufen Sie einen richtigen WSGI-Server (Gunicorn) auf
   • Erstellt eine öffentliche Lambda-Funktions-URL
   • Proxy-Funktions-URL-Anfragen an Gunicorn
   • Verwaltet IAM-Rollen und -Berechtigungen

Wie die Bereitstellung aussieht

Hier ist die Ausgabe eines Npx-Scaffoldly-Deploy-Befehls, den ich in diesem Beispiel ausgeführt habe:

Reale Leistung und Kosten

✅ Kosten: ~0,20 $/Tag für AWS Lambda, ECR und EFS

✅ Kaltstart: ~20 Sekunden für die erste Anforderung (Modellladen)

✅ Warme Anfragen: 5–20 Sekunden (CPU-basierte Inferenz)

Während dieses Setup CPU-Inferenz verwendet (die langsamer als die GPU ist), ist es eine unglaublich kostengünstige Möglichkeit, mit ML-Modellen zu experimentieren oder Endpunkte mit geringem Datenverkehr zu bedienen.

Anpassung für andere Modelle

Möchten Sie ein anderes Modell verwenden? Aktualisieren Sie einfach zwei Dateien:

1. Ändern Sie das Modell in app.py:

 npx scaffoldly create app --template python-huggingface

1. Aktualisieren Sie den Download in scaffoldly.json:

 cd my-app && npx scaffoldly deploy

Verwendung privater oder Gated-Modelle

Scaffoldly unterstützt private und Gated-Modelle über die Umgebungsvariable HF_TOKEN. Sie können Ihren Hugging Face-Token auf verschiedene Arten hinzufügen:

• Lokale Entwicklung: Zu Ihrem Shell-Profil hinzufügen (.bashrc, .zprofile usw.):

# app.py
from flask import Flask
from transformers import pipeline
app = Flask(__name__)
generator = pipeline('text-generation', model='openai-community/gpt2')
@app.route("/")
def hello_world():
    output = generator("Hello, world,")
    return output[0]['generated_text']

• CI/CD: Als GitHub Actions Secret hinzufügen:

// requirements.txt
Flask ~= 3.0
gunicorn ~= 23.0
torch ~= 2.5
numpy ~= 2.1
transformers ~= 4.46
huggingface_hub[cli] ~= 0.26

Der Token wird automatisch sowohl zum Herunterladen als auch zum Zugreifen auf Ihre privaten oder geschlossenen Modelle verwendet.

CI/CD-Bonus

Scaffoldly generiert sogar eine GitHub-Aktion für automatisierte Bereitstellungen:

// scaffoldly.json
{
  "name": "python-huggingface",
  "runtime": "python:3.12",
  "handler": "localhost:8000",
  "files": ["app.py"],
  "packages": ["pip:requirements.txt"],
  "resources": ["arn::elasticfilesystem:::file-system/.cache"],
  "schedules": {
    "@immediately": "huggingface-cli download openai-community/gpt2"
  },
  "scripts": {
    "start": "gunicorn app:app"
  },
  "memorySize": 1024
}

Probieren Sie es selbst aus

Das vollständige Beispiel ist auf GitHub verfügbar:
scaffoldly/scaffoldly-examples#python-huggingface

Und Sie können Ihre eigene Kopie dieses Beispiels erstellen, indem Sie Folgendes ausführen:

generator = pipeline('text-generation', model='your-model-here')

Sie können sehen, wie es live läuft (obwohl die Antworten aufgrund von CPU-Rückschlüssen langsam sein können):
Live-Demo

Was kommt als nächstes?

• Versuchen Sie, verschiedene Hugging Face-Modelle einzusetzen
• Treten Sie der Scaffoldly-Community auf Discord bei
• Schauen Sie sich andere Beispiele an
• Markieren Sie unsere Repos, wenn Sie dies nützlich fanden!
  • Die Scaffoldly-Toolchain
  • Das Scaffoldly-Beispiel-Repository

Lizenzen

Scaffoldly ist Open Source und willkommene Beiträge aus der Community.

• Die Beispiele sind mit der Apache-2.0-Lizenz lizenziert.
• Die scaffoldly-Toolchain ist mit der FSL-1.1-Apache-2.0-Lizenz lizenziert.

Welche anderen Modelle möchten Sie in AWS Lambda ausführen? Lass es mich in den Kommentaren wissen!

Das obige ist der detaillierte Inhalt vonStellen Sie Hugging Face-Modelle in Schritten für AWS Lambda bereit. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!