検索
ホームページバックエンド開発Python チュートリアルteps でハグ顔モデルを AWS Lambda にデプロイする

Hugging Face モデルを AWS Lambda にデプロイしたいと考えていましたが、コンテナのビルド、コールド スタート、モデルのキャッシュで行き詰まったことはありませんか? Scaffoldly を使用して 5 分以内にこれを行う方法を次に示します。

TL;DR

  1. AWS で .cache という名前の EFS ファイルシステムを作成します:

    • AWS EFS コンソールに移動します
    • 「ファイルシステムの作成」をクリックします
    • .cache という名前を付けます
    • 任意の VPC を選択します (残りは Scaffoldly が処理します!)
  2. python-huggingface ブランチからアプリを作成します。

     npx scaffoldly create app --template python-huggingface
    
  3. デプロイします:

     cd my-app && npx scaffoldly deploy
    

それだけです! Lambda 上で実行される Hugging Face モデル (例として openai-community/gpt2 を使用) を取得し、適切なキャッシュとコンテナーのデプロイメントを完了します。

プロのヒント: EFS セットアップの場合、バースタブル モードの単一 AZ までカスタマイズしてさらにコストを節約できます。 Scaffoldly は、Lambda 関数を EFS の VPC、サブネット、セキュリティ グループと照合します。

✨ ライブデモとサンプルコードをチェックしてください!

問題

ML モデルを AWS Lambda にデプロイするには、従来は次のことが必要です。

  • Docker コンテナの構築と管理
  • モデルのキャッシュとストレージを理解する
  • Lambda のサイズ制限への対処
  • コールドスタートの管理
  • API エンドポイントのセットアップ

モデルを提供したいだけの場合、多くのインフラストラクチャ作業が必要です!

解決策

Scaffoldly は、この複雑さをすべて単純な構成ファイルで処理します。これは、Hugging Face モデルを提供する完全なアプリケーションです (例として openai-community/gpt2 を使用):

# app.py
from flask import Flask
from transformers import pipeline
app = Flask(__name__)
generator = pipeline('text-generation', model='openai-community/gpt2')
@app.route("/")
def hello_world():
    output = generator("Hello, world,")
    return output[0]['generated_text']
// requirements.txt
Flask ~= 3.0
gunicorn ~= 23.0
torch ~= 2.5
numpy ~= 2.1
transformers ~= 4.46
huggingface_hub[cli] ~= 0.26
// scaffoldly.json
{
  "name": "python-huggingface",
  "runtime": "python:3.12",
  "handler": "localhost:8000",
  "files": ["app.py"],
  "packages": ["pip:requirements.txt"],
  "resources": ["arn::elasticfilesystem:::file-system/.cache"],
  "schedules": {
    "@immediately": "huggingface-cli download openai-community/gpt2"
  },
  "scripts": {
    "start": "gunicorn app:app"
  },
  "memorySize": 1024
}

仕組み

Scaffoldly は舞台裏でいくつかの賢いことを行います:

  1. スマートコンテナビルディング:

    • Lambda に最適化された Docker コンテナを自動的に作成します
    • PyTorch を含むすべての Python 依存関係を処理します
    • Docker コマンドを作成しなくても ECR にプッシュされます
  2. 効率的なモデル処理:

    • Amazon EFS を使用してモデル ファイルをキャッシュします
    • 展開後にモデルを事前ダウンロードしてコールド スタートを高速化します
    • Lambda にキャッシュを自動的にマウントします
  3. Lambda 対応セットアップ:

    • 適切な WSGI サーバー (gunicorn) を起動します
    • パブリック Lambda 関数 URL を作成します
    • gunicorn へのプロキシ関数 URL リクエスト
    • IAM の役割と権限を管理します

デプロイの様子

この例で実行した npx scaffoldlydeploy コマンドの出力は次のとおりです。

Deploy Hugging Face Models to AWS Lambda in teps

実際のパフォーマンスとコスト

コスト: AWS Lambda、ECR、および EFS の場合、1 日あたり ~$0.20

コールド スタート: 最初のリクエスト (モデルの読み込み) に約 20 秒

ウォーム リクエスト: 5 ~ 20 秒 (CPU ベースの推論)

このセットアップでは CPU 推論 (GPU よりも遅い) が使用されますが、ML モデルを試したり、低トラフィックのエンドポイントにサービスを提供したりするには、非常にコスト効率の高い方法です。

他モデル用のカスタマイズ

別のモデルを使用したいですか? 2 つのファイルを更新するだけです:

  1. app.py のモデルを変更します。
 npx scaffoldly create app --template python-huggingface
  1. scaffoldly.json のダウンロードを更新します。
 cd my-app && npx scaffoldly deploy

プライベート モデルまたはゲート モデルの使用

Scaffoldly は、HF_TOKEN 環境変数を介してプライベート モデルとゲート モデルをサポートします。ハグ顔トークンはいくつかの方法で追加できます:

  • ローカル開発: シェル プロファイル (.bashrc、.zprofile など) に追加します。
# app.py
from flask import Flask
from transformers import pipeline
app = Flask(__name__)
generator = pipeline('text-generation', model='openai-community/gpt2')
@app.route("/")
def hello_world():
    output = generator("Hello, world,")
    return output[0]['generated_text']
  • CI/CD: GitHub アクション シークレットとして追加:
// requirements.txt
Flask ~= 3.0
gunicorn ~= 23.0
torch ~= 2.5
numpy ~= 2.1
transformers ~= 4.46
huggingface_hub[cli] ~= 0.26

トークンは、プライベート モデルまたはゲート モデルのダウンロードとアクセスの両方に自動的に使用されます。

CI/CD ボーナス

Scaffoldly は自動デプロイメント用の GitHub アクションも生成します:

// scaffoldly.json
{
  "name": "python-huggingface",
  "runtime": "python:3.12",
  "handler": "localhost:8000",
  "files": ["app.py"],
  "packages": ["pip:requirements.txt"],
  "resources": ["arn::elasticfilesystem:::file-system/.cache"],
  "schedules": {
    "@immediately": "huggingface-cli download openai-community/gpt2"
  },
  "scripts": {
    "start": "gunicorn app:app"
  },
  "memorySize": 1024
}

自分で試してみる

完全な例は GitHub で入手できます:
scaffoldly/scaffoldly-examples#python-huggingface

次のコマンドを実行すると、この例の独自のコピーを作成できます。

generator = pipeline('text-generation', model='your-model-here')

ライブで実行されているのが確認できます (ただし、CPU 推論により応答が遅くなる可能性があります)。
ライブデモ

次は何ですか?

  • さまざまなハグフェイス モデルを展開してみる
  • Discord の Scaffoldly コミュニティに参加してください
  • 他の例をチェックしてください
  • これが役立つと思われた場合は、リポジトリにスターを付けてください!
    • Scaffoldly ツールチェーン
    • Scaffoldly サンプル リポジトリ

ライセンス

Scaffoldly はオープンソースであり、コミュニティからの貢献を歓迎します。

  • サンプルには Apache-2.0 ライセンスが付与されています。
  • scaffoldly ツールチェーンは FSL-1.1-Apache-2.0 ライセンスでライセンスされています。

AWS Lambda で実行したい他のモデルは何ですか?コメント欄でお知らせください!

以上がteps でハグ顔モデルを AWS Lambda にデプロイするの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。
Pythonの学習:2時間の毎日の研究で十分ですか?Pythonの学習:2時間の毎日の研究で十分ですか?Apr 18, 2025 am 12:22 AM

Pythonを1日2時間学ぶだけで十分ですか?それはあなたの目標と学習方法に依存します。 1)明確な学習計画を策定し、2)適切な学習リソースと方法を選択します。3)実践的な実践とレビューとレビューと統合を練習および統合し、統合すると、この期間中にPythonの基本的な知識と高度な機能を徐々に習得できます。

Web開発用のPython:主要なアプリケーションWeb開発用のPython:主要なアプリケーションApr 18, 2025 am 12:20 AM

Web開発におけるPythonの主要なアプリケーションには、DjangoおよびFlaskフレームワークの使用、API開発、データ分析と視覚化、機械学習とAI、およびパフォーマンスの最適化が含まれます。 1。DjangoandFlask Framework:Djangoは、複雑な用途の迅速な発展に適しており、Flaskは小規模または高度にカスタマイズされたプロジェクトに適しています。 2。API開発:フラスコまたはdjangorestFrameworkを使用して、Restfulapiを構築します。 3。データ分析と視覚化:Pythonを使用してデータを処理し、Webインターフェイスを介して表示します。 4。機械学習とAI:Pythonは、インテリジェントWebアプリケーションを構築するために使用されます。 5。パフォーマンスの最適化:非同期プログラミング、キャッシュ、コードを通じて最適化

Python vs. C:パフォーマンスと効率の探索Python vs. C:パフォーマンスと効率の探索Apr 18, 2025 am 12:20 AM

Pythonは開発効率でCよりも優れていますが、Cは実行パフォーマンスが高くなっています。 1。Pythonの簡潔な構文とリッチライブラリは、開発効率を向上させます。 2.Cのコンピレーションタイプの特性とハードウェア制御により、実行パフォーマンスが向上します。選択を行うときは、プロジェクトのニーズに基づいて開発速度と実行効率を比較検討する必要があります。

Python in Action:実世界の例Python in Action:実世界の例Apr 18, 2025 am 12:18 AM

Pythonの実際のアプリケーションには、データ分析、Web開発、人工知能、自動化が含まれます。 1)データ分析では、PythonはPandasとMatplotlibを使用してデータを処理および視覚化します。 2)Web開発では、DjangoおよびFlask FrameworksがWebアプリケーションの作成を簡素化します。 3)人工知能の分野では、TensorflowとPytorchがモデルの構築と訓練に使用されます。 4)自動化に関しては、ファイルのコピーなどのタスクにPythonスクリプトを使用できます。

Pythonの主な用途:包括的な概要Pythonの主な用途:包括的な概要Apr 18, 2025 am 12:18 AM

Pythonは、データサイエンス、Web開発、自動化スクリプトフィールドで広く使用されています。 1)データサイエンスでは、PythonはNumpyやPandasなどのライブラリを介してデータ処理と分析を簡素化します。 2)Web開発では、DjangoおよびFlask Frameworksにより、開発者はアプリケーションを迅速に構築できます。 3)自動化されたスクリプトでは、Pythonのシンプルさと標準ライブラリが理想的になります。

Pythonの主な目的:柔軟性と使いやすさPythonの主な目的:柔軟性と使いやすさApr 17, 2025 am 12:14 AM

Pythonの柔軟性は、マルチパラダイムサポートと動的タイプシステムに反映されていますが、使いやすさはシンプルな構文とリッチ標準ライブラリに由来しています。 1。柔軟性:オブジェクト指向、機能的および手続き的プログラミングをサポートし、動的タイプシステムは開発効率を向上させます。 2。使いやすさ:文法は自然言語に近く、標準的なライブラリは幅広い機能をカバーし、開発プロセスを簡素化します。

Python:汎用性の高いプログラミングの力Python:汎用性の高いプログラミングの力Apr 17, 2025 am 12:09 AM

Pythonは、初心者から上級開発者までのすべてのニーズに適した、そのシンプルさとパワーに非常に好まれています。その汎用性は、次のことに反映されています。1)学習と使用が簡単、シンプルな構文。 2)Numpy、Pandasなどの豊富なライブラリとフレームワーク。 3)さまざまなオペレーティングシステムで実行できるクロスプラットフォームサポート。 4)作業効率を向上させるためのスクリプトおよび自動化タスクに適しています。

1日2時間でPythonを学ぶ:実用的なガイド1日2時間でPythonを学ぶ:実用的なガイドApr 17, 2025 am 12:05 AM

はい、1日2時間でPythonを学びます。 1.合理的な学習計画を作成します。2。適切な学習リソースを選択します。3。実践を通じて学んだ知識を統合します。これらの手順は、短時間でPythonをマスターするのに役立ちます。

See all articles

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

ホットツール

MinGW - Minimalist GNU for Windows

MinGW - Minimalist GNU for Windows

このプロジェクトは osdn.net/projects/mingw に移行中です。引き続きそこでフォローしていただけます。 MinGW: GNU Compiler Collection (GCC) のネイティブ Windows ポートであり、ネイティブ Windows アプリケーションを構築するための自由に配布可能なインポート ライブラリとヘッダー ファイルであり、C99 機能をサポートする MSVC ランタイムの拡張機能が含まれています。すべての MinGW ソフトウェアは 64 ビット Windows プラットフォームで実行できます。

メモ帳++7.3.1

メモ帳++7.3.1

使いやすく無料のコードエディター

WebStorm Mac版

WebStorm Mac版

便利なJavaScript開発ツール

Dreamweaver Mac版

Dreamweaver Mac版

ビジュアル Web 開発ツール

SublimeText3 Mac版

SublimeText3 Mac版

神レベルのコード編集ソフト(SublimeText3)