Hugging Face モデルを AWS Lambda にデプロイしたいと考えていましたが、コンテナのビルド、コールド スタート、モデルのキャッシュで行き詰まったことはありませんか? Scaffoldly を使用して 5 分以内にこれを行う方法を次に示します。
TL;DR
-
AWS で .cache という名前の EFS ファイルシステムを作成します:
- AWS EFS コンソールに移動します
- 「ファイルシステムの作成」をクリックします
- .cache という名前を付けます
- 任意の VPC を選択します (残りは Scaffoldly が処理します!)
-
python-huggingface ブランチからアプリを作成します。
npx scaffoldly create app --template python-huggingface
-
デプロイします:
cd my-app && npx scaffoldly deploy
それだけです! Lambda 上で実行される Hugging Face モデル (例として openai-community/gpt2 を使用) を取得し、適切なキャッシュとコンテナーのデプロイメントを完了します。
プロのヒント: EFS セットアップの場合、バースタブル モードの単一 AZ までカスタマイズしてさらにコストを節約できます。 Scaffoldly は、Lambda 関数を EFS の VPC、サブネット、セキュリティ グループと照合します。
✨ ライブデモとサンプルコードをチェックしてください!
問題
ML モデルを AWS Lambda にデプロイするには、従来は次のことが必要です。
- Docker コンテナの構築と管理
- モデルのキャッシュとストレージを理解する
- Lambda のサイズ制限への対処
- コールドスタートの管理
- API エンドポイントのセットアップ
モデルを提供したいだけの場合、多くのインフラストラクチャ作業が必要です!
解決策
Scaffoldly は、この複雑さをすべて単純な構成ファイルで処理します。これは、Hugging Face モデルを提供する完全なアプリケーションです (例として openai-community/gpt2 を使用):
# app.py from flask import Flask from transformers import pipeline app = Flask(__name__) generator = pipeline('text-generation', model='openai-community/gpt2') @app.route("/") def hello_world(): output = generator("Hello, world,") return output[0]['generated_text']
// requirements.txt Flask ~= 3.0 gunicorn ~= 23.0 torch ~= 2.5 numpy ~= 2.1 transformers ~= 4.46 huggingface_hub[cli] ~= 0.26
// scaffoldly.json { "name": "python-huggingface", "runtime": "python:3.12", "handler": "localhost:8000", "files": ["app.py"], "packages": ["pip:requirements.txt"], "resources": ["arn::elasticfilesystem:::file-system/.cache"], "schedules": { "@immediately": "huggingface-cli download openai-community/gpt2" }, "scripts": { "start": "gunicorn app:app" }, "memorySize": 1024 }
仕組み
Scaffoldly は舞台裏でいくつかの賢いことを行います:
-
スマートコンテナビルディング:
- Lambda に最適化された Docker コンテナを自動的に作成します
- PyTorch を含むすべての Python 依存関係を処理します
- Docker コマンドを作成しなくても ECR にプッシュされます
-
効率的なモデル処理:
- Amazon EFS を使用してモデル ファイルをキャッシュします
- 展開後にモデルを事前ダウンロードしてコールド スタートを高速化します
- Lambda にキャッシュを自動的にマウントします
-
Lambda 対応セットアップ:
- 適切な WSGI サーバー (gunicorn) を起動します
- パブリック Lambda 関数 URL を作成します
- gunicorn へのプロキシ関数 URL リクエスト
- IAM の役割と権限を管理します
デプロイの様子
この例で実行した npx scaffoldlydeploy コマンドの出力は次のとおりです。
実際のパフォーマンスとコスト
✅ コスト: AWS Lambda、ECR、および EFS の場合、1 日あたり ~$0.20
✅ コールド スタート: 最初のリクエスト (モデルの読み込み) に約 20 秒
✅ ウォーム リクエスト: 5 ~ 20 秒 (CPU ベースの推論)
このセットアップでは CPU 推論 (GPU よりも遅い) が使用されますが、ML モデルを試したり、低トラフィックのエンドポイントにサービスを提供したりするには、非常にコスト効率の高い方法です。
他モデル用のカスタマイズ
別のモデルを使用したいですか? 2 つのファイルを更新するだけです:
- app.py のモデルを変更します。
npx scaffoldly create app --template python-huggingface
- scaffoldly.json のダウンロードを更新します。
cd my-app && npx scaffoldly deploy
プライベート モデルまたはゲート モデルの使用
Scaffoldly は、HF_TOKEN 環境変数を介してプライベート モデルとゲート モデルをサポートします。ハグ顔トークンはいくつかの方法で追加できます:
- ローカル開発: シェル プロファイル (.bashrc、.zprofile など) に追加します。
# app.py from flask import Flask from transformers import pipeline app = Flask(__name__) generator = pipeline('text-generation', model='openai-community/gpt2') @app.route("/") def hello_world(): output = generator("Hello, world,") return output[0]['generated_text']
- CI/CD: GitHub アクション シークレットとして追加:
// requirements.txt Flask ~= 3.0 gunicorn ~= 23.0 torch ~= 2.5 numpy ~= 2.1 transformers ~= 4.46 huggingface_hub[cli] ~= 0.26
トークンは、プライベート モデルまたはゲート モデルのダウンロードとアクセスの両方に自動的に使用されます。
CI/CD ボーナス
Scaffoldly は自動デプロイメント用の GitHub アクションも生成します:
// scaffoldly.json { "name": "python-huggingface", "runtime": "python:3.12", "handler": "localhost:8000", "files": ["app.py"], "packages": ["pip:requirements.txt"], "resources": ["arn::elasticfilesystem:::file-system/.cache"], "schedules": { "@immediately": "huggingface-cli download openai-community/gpt2" }, "scripts": { "start": "gunicorn app:app" }, "memorySize": 1024 }
自分で試してみる
完全な例は GitHub で入手できます:
scaffoldly/scaffoldly-examples#python-huggingface
次のコマンドを実行すると、この例の独自のコピーを作成できます。
generator = pipeline('text-generation', model='your-model-here')
ライブで実行されているのが確認できます (ただし、CPU 推論により応答が遅くなる可能性があります)。
ライブデモ
次は何ですか?
- さまざまなハグフェイス モデルを展開してみる
- Discord の Scaffoldly コミュニティに参加してください
- 他の例をチェックしてください
- これが役立つと思われた場合は、リポジトリにスターを付けてください!
- Scaffoldly ツールチェーン
- Scaffoldly サンプル リポジトリ
ライセンス
Scaffoldly はオープンソースであり、コミュニティからの貢献を歓迎します。
- サンプルには Apache-2.0 ライセンスが付与されています。
- scaffoldly ツールチェーンは FSL-1.1-Apache-2.0 ライセンスでライセンスされています。
AWS Lambda で実行したい他のモデルは何ですか?コメント欄でお知らせください!
以上がteps でハグ顔モデルを AWS Lambda にデプロイするの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

このチュートリアルでは、Pythonを使用してZIPFの法則の統計的概念を処理する方法を示し、法律の処理時にPythonの読み取りおよび並べ替えの効率性を示します。 ZIPF分布という用語が何を意味するのか疑問に思うかもしれません。この用語を理解するには、まずZIPFの法律を定義する必要があります。心配しないでください、私は指示を簡素化しようとします。 ZIPFの法則 ZIPFの法則は単に意味します。大きな自然言語のコーパスでは、最も頻繁に発生する単語は、2番目の頻繁な単語のほぼ2倍の頻度で表示されます。 例を見てみましょう。アメリカ英語の茶色のコーパスを見ると、最も頻繁な言葉は「thであることに気付くでしょう。

この記事では、Pythonライブラリである美しいスープを使用してHTMLを解析する方法について説明します。 find()、find_all()、select()、およびget_text()などの一般的な方法は、データ抽出、多様なHTML構造とエラーの処理、および代替案(SEL

ノイズの多い画像を扱うことは、特に携帯電話や低解像度のカメラの写真でよくある問題です。 このチュートリアルでは、OpenCVを使用してPythonの画像フィルタリング手法を調査して、この問題に取り組みます。 画像フィルタリング:強力なツール 画像フィルター

この記事では、深い学習のためにTensorflowとPytorchを比較しています。 関連する手順、データの準備、モデルの構築、トレーニング、評価、展開について詳しく説明しています。 特に計算グラップに関して、フレームワーク間の重要な違い

データサイエンスと処理のお気に入りであるPythonは、高性能コンピューティングのための豊富なエコシステムを提供します。ただし、Pythonの並列プログラミングは、独自の課題を提示します。このチュートリアルでは、これらの課題を調査し、グローバルな承認に焦点を当てています

このチュートリアルでは、Python 3にカスタムパイプラインデータ構造を作成し、機能を強化するためにクラスとオペレーターのオーバーロードを活用していることを示しています。 パイプラインの柔軟性は、一連の機能をデータセットに適用する能力にあります。

Pythonオブジェクトのシリアル化と脱介入は、非自明のプログラムの重要な側面です。 Pythonファイルに何かを保存すると、構成ファイルを読み取る場合、またはHTTPリクエストに応答する場合、オブジェクトシリアル化と脱滑り化を行います。 ある意味では、シリアル化と脱派化は、世界で最も退屈なものです。これらすべての形式とプロトコルを気にするのは誰ですか? Pythonオブジェクトを維持またはストリーミングし、後で完全に取得したいと考えています。 これは、概念レベルで世界を見るのに最適な方法です。ただし、実用的なレベルでは、選択したシリアル化スキーム、形式、またはプロトコルは、プログラムの速度、セキュリティ、メンテナンスの自由、およびその他の側面を決定する場合があります。

Pythonの統計モジュールは、強力なデータ統計分析機能を提供して、生物統計やビジネス分析などのデータの全体的な特性を迅速に理解できるようにします。データポイントを1つずつ見る代わりに、平均や分散などの統計を見て、無視される可能性のある元のデータの傾向と機能を発見し、大きなデータセットをより簡単かつ効果的に比較してください。 このチュートリアルでは、平均を計算し、データセットの分散の程度を測定する方法を説明します。特に明記しない限り、このモジュールのすべての関数は、単に平均を合計するのではなく、平均()関数の計算をサポートします。 浮動小数点数も使用できます。 ランダムをインポートします インポート統計 fractiから


ホットAIツール

Undresser.AI Undress
リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover
写真から衣服を削除するオンライン AI ツール。

Undress AI Tool
脱衣画像を無料で

Clothoff.io
AI衣類リムーバー

AI Hentai Generator
AIヘンタイを無料で生成します。

人気の記事

ホットツール

PhpStorm Mac バージョン
最新(2018.2.1)のプロフェッショナル向けPHP統合開発ツール

Safe Exam Browser
Safe Exam Browser は、オンライン試験を安全に受験するための安全なブラウザ環境です。このソフトウェアは、あらゆるコンピュータを安全なワークステーションに変えます。あらゆるユーティリティへのアクセスを制御し、学生が無許可のリソースを使用するのを防ぎます。

SublimeText3 英語版
推奨: Win バージョン、コードプロンプトをサポート!

ドリームウィーバー CS6
ビジュアル Web 開発ツール

SublimeText3 Mac版
神レベルのコード編集ソフト(SublimeText3)
