Sebarkan Model Wajah Memeluk ke AWS Lambda dalam teps

Pernah mahu menggunakan model Hugging Face ke AWS Lambda tetapi terperangkap dengan binaan bekas, permulaan sejuk dan cache model? Begini cara melakukannya dalam masa kurang daripada 5 minit menggunakan Scaffoldly.

TL;DR

1. Buat sistem fail EFS bernama .cache dalam AWS:

   • Pergi ke AWS EFS Console
   • Klik "Buat Sistem Fail"
   • Namakan .cache
   • Pilih mana-mana VPC (Scaffoldly akan menguruskan yang lain!)

2. Buat apl anda daripada cawangan muka peluk python:
   

    npx scaffoldly create app --template python-huggingface
   

3. Sebarkannya:
   

    cd my-app && npx scaffoldly deploy
   

Itu sahaja! Anda akan mendapat model Hugging Face yang dijalankan pada Lambda (menggunakan openai-community/gpt2 sebagai contoh), lengkap dengan caching dan penempatan kontena yang betul.

Petua Pro: Untuk persediaan EFS, anda boleh menyesuaikannya kepada AZ Tunggal dalam mod Burstable untuk lebih penjimatan kos. Scaffoldly akan memadankan Fungsi Lambda dengan VPC, Subnet dan Kumpulan Keselamatan EFS.

✨ Lihat Demo Langsung dan kod contoh!

Masalahnya

Menggunakan model ML ke AWS Lambda secara tradisinya melibatkan:

• Membina dan mengurus bekas Docker
• Memikirkan caching dan penyimpanan model
• Berurusan dengan had saiz Lambda
• Menguruskan permulaan sejuk
• Menyediakan titik akhir API

Memang banyak kerja infrastruktur apabila anda hanya mahu melayan model!

Penyelesaian

Scaffoldly mengendalikan semua kerumitan ini dengan fail konfigurasi yang mudah. Berikut ialah aplikasi lengkap yang menyajikan model Wajah Memeluk (menggunakan openai-community/gpt2 sebagai contoh):

# app.py
from flask import Flask
from transformers import pipeline
app = Flask(__name__)
generator = pipeline('text-generation', model='openai-community/gpt2')
@app.route("/")
def hello_world():
    output = generator("Hello, world,")
    return output[0]['generated_text']

// requirements.txt
Flask ~= 3.0
gunicorn ~= 23.0
torch ~= 2.5
numpy ~= 2.1
transformers ~= 4.46
huggingface_hub[cli] ~= 0.26

// scaffoldly.json
{
  "name": "python-huggingface",
  "runtime": "python:3.12",
  "handler": "localhost:8000",
  "files": ["app.py"],
  "packages": ["pip:requirements.txt"],
  "resources": ["arn::elasticfilesystem:::file-system/.cache"],
  "schedules": {
    "@immediately": "huggingface-cli download openai-community/gpt2"
  },
  "scripts": {
    "start": "gunicorn app:app"
  },
  "memorySize": 1024
}

Bagaimana Ia Berfungsi

Scaffoldly melakukan beberapa perkara bijak di sebalik tabir:

1. Bangunan Kontena Pintar:

   • Mencipta bekas Docker yang dioptimumkan untuk Lambda secara automatik
   • Mengendalikan semua kebergantungan Python termasuk PyTorch
   • Menolak ke ECR tanpa anda menulis sebarang arahan Docker

2. Pengendalian Model yang Cekap:

   • Menggunakan Amazon EFS untuk cache fail model
   • Pramuat turun model selepas penggunaan untuk permulaan sejuk yang lebih pantas
   • Memasang cache secara automatik dalam Lambda

3. Persediaan Sedia Lambda:

   • Melancarkan pelayan WSGI yang betul (gunicorn)
   • Mencipta URL Fungsi Lambda awam
   • URL Fungsi Proksi meminta kepada gunicorn
   • Mengurus peranan dan kebenaran IAM

Apakah rupa penggunaan

Berikut ialah output daripada arahan penggunaan perancah npx yang saya jalankan pada contoh ini:

Prestasi & Kos Dunia Sebenar

✅ Kos: ~$0.20/hari untuk AWS Lambda, ECR dan EFS

✅ Permulaan Dingin: ~20s untuk permintaan pertama (pemuatan model)

✅ Permintaan Hangat: 5-20s (inferens berasaskan CPU)

Walaupun persediaan ini menggunakan inferens CPU (yang lebih perlahan daripada GPU), ia merupakan cara yang sangat menjimatkan kos untuk bereksperimen dengan model ML atau menyediakan titik akhir trafik rendah.

Menyesuaikan untuk Model Lain

Ingin menggunakan model yang berbeza? Hanya kemas kini dua fail:

1. Tukar model dalam app.py:

 npx scaffoldly create app --template python-huggingface

1. Kemas kini muat turun dalam scaffoldly.json:

 cd my-app && npx scaffoldly deploy

Menggunakan Model Persendirian atau Berpagar

Scaffoldly menyokong model peribadi dan berpagar melalui pembolehubah persekitaran HF_TOKEN. Anda boleh menambah token Memeluk Wajah anda dalam beberapa cara:

• Pembangunan Tempatan: Tambahkan pada profil shell anda (.bashrc, .zprofile, dll.):

# app.py
from flask import Flask
from transformers import pipeline
app = Flask(__name__)
generator = pipeline('text-generation', model='openai-community/gpt2')
@app.route("/")
def hello_world():
    output = generator("Hello, world,")
    return output[0]['generated_text']

• CI/CD: Tambahkan sebagai Rahsia Tindakan GitHub:

// requirements.txt
Flask ~= 3.0
gunicorn ~= 23.0
torch ~= 2.5
numpy ~= 2.1
transformers ~= 4.46
huggingface_hub[cli] ~= 0.26

Token akan digunakan secara automatik untuk memuat turun dan mengakses model peribadi atau berpagar anda.

Bonus CI/CD

Scaffoldly malah menjana Tindakan GitHub untuk penggunaan automatik:

// scaffoldly.json
{
  "name": "python-huggingface",
  "runtime": "python:3.12",
  "handler": "localhost:8000",
  "files": ["app.py"],
  "packages": ["pip:requirements.txt"],
  "resources": ["arn::elasticfilesystem:::file-system/.cache"],
  "schedules": {
    "@immediately": "huggingface-cli download openai-community/gpt2"
  },
  "scripts": {
    "start": "gunicorn app:app"
  },
  "memorySize": 1024
}

Cubalah Sendiri

Contoh lengkap tersedia di GitHub:
scaffoldly/scaffoldly-contoh#python-peluk muka

Dan anda boleh membuat salinan anda sendiri bagi contoh ini dengan menjalankan:

generator = pipeline('text-generation', model='your-model-here')

Anda boleh melihatnya berjalan secara langsung (walaupun respons mungkin lambat disebabkan inferens CPU):
Demo Langsung

Apa Seterusnya?

• Cuba gunakan model Memeluk Wajah yang berbeza
• Sertai Komuniti Scaffoldly di Discord
• Lihat contoh lain
• Bintangkan repo kami jika anda mendapati ini berguna!
  • Rantai alat perancah
  • Repositori Contoh Scaffoldly

Lesen

Scaffoldly ialah Sumber Terbuka dan mengalu-alukan sumbangan daripada komuniti.

• Contohnya dilesenkan dengan lesen Apache-2.0.
• Rantai alat perancah dilesenkan dengan lesen FSL-1.1-Apache-2.0.

Apakah model lain yang anda mahu jalankan dalam AWS Lambda? Beritahu saya dalam ulasan!

Atas ialah kandungan terperinci Sebarkan Model Wajah Memeluk ke AWS Lambda dalam teps. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!