Hugging Face 모델을 AWS Lambda에 배포하고 싶었지만 컨테이너 빌드, 콜드 스타트 및 모델 캐싱으로 인해 막힌 적이 있으십니까? Scaffoldly를 사용하여 5분 안에 완료하는 방법은 다음과 같습니다.
TL;DR
-
AWS에서 .cache라는 EFS 파일 시스템을 생성합니다.
- AWS EFS 콘솔로 이동
- "파일 시스템 생성"을 클릭하세요
- 이름을 .cache로 지정하세요.
- VPC를 선택하세요(나머지는 스캐폴드에서 처리합니다!)
-
python-huggingface 분기에서 앱을 만듭니다.
npx scaffoldly create app --template python-huggingface
-
배포:
cd my-app && npx scaffoldly deploy
그렇습니다! 적절한 캐싱 및 컨테이너 배포가 완료되어 Lambda에서 실행되는 Hugging Face 모델(예: openai-community/gpt2 사용)을 얻게 됩니다.
전문가 팁: EFS 설정의 경우 버스트 가능 모드에서 단일 AZ로 맞춤 설정하여 더 많은 비용을 절감할 수 있습니다. Scaffoldly는 Lambda 함수를 EFS의 VPC, 서브넷 및 보안 그룹과 일치시킵니다.
✨ 라이브 데모와 예제 코드를 확인해보세요!
문제
ML 모델을 AWS Lambda에 배포하는 작업에는 일반적으로 다음이 포함됩니다.
- Docker 컨테이너 구축 및 관리
- 모델 캐싱 및 저장 방법
- Lambda의 크기 제한 처리
- 콜드 스타트 관리
- API 엔드포인트 설정
단순히 모델을 서빙하고 싶을 때 인프라 작업이 많이 필요합니다!
해결책
Scaffoldly는 간단한 구성 파일로 이러한 모든 복잡성을 처리합니다. 다음은 Hugging Face 모델을 제공하는 완전한 애플리케이션입니다(예: openai-community/gpt2 사용).
# app.py from flask import Flask from transformers import pipeline app = Flask(__name__) generator = pipeline('text-generation', model='openai-community/gpt2') @app.route("/") def hello_world(): output = generator("Hello, world,") return output[0]['generated_text']
// requirements.txt Flask ~= 3.0 gunicorn ~= 23.0 torch ~= 2.5 numpy ~= 2.1 transformers ~= 4.46 huggingface_hub[cli] ~= 0.26
// scaffoldly.json { "name": "python-huggingface", "runtime": "python:3.12", "handler": "localhost:8000", "files": ["app.py"], "packages": ["pip:requirements.txt"], "resources": ["arn::elasticfilesystem:::file-system/.cache"], "schedules": { "@immediately": "huggingface-cli download openai-community/gpt2" }, "scripts": { "start": "gunicorn app:app" }, "memorySize": 1024 }
작동 방식
Scaffoldly는 뒤에서 몇 가지 영리한 작업을 수행합니다.
-
스마트 컨테이너 빌딩:
- Lambda에 최적화된 Docker 컨테이너 자동 생성
- PyTorch를 포함한 모든 Python 종속성을 처리합니다
- Docker 명령을 작성하지 않고도 ECR에 푸시
-
효율적인 모델 처리:
- Amazon EFS를 사용하여 모델 파일을 캐시합니다
- 더 빠른 콜드 스타트를 위해 배포 후 모델을 사전 다운로드합니다
- Lambda에 캐시를 자동으로 마운트합니다
-
Lambda 지원 설정:
- 적절한 WSGI 서버 구축(gunicorn)
- 공개 Lambda 함수 URL 생성
- gunicorn에 대한 프록시 함수 URL 요청
- IAM 역할 및 권한 관리
배포 모습
이 예에서 실행한 npx scaffoldly Deploy 명령의 출력은 다음과 같습니다.
실제 성능 및 비용
✅ 비용: AWS Lambda, ECR 및 EFS의 경우 ~$0.20/일
✅ 콜드 스타트: 첫 번째 요청에 최대 20초(모델 로딩)
✅ 따뜻한 요청: 5~20초(CPU 기반 추론)
이 설정은 CPU 추론(GPU보다 느림)을 사용하지만 ML 모델을 실험하거나 트래픽이 적은 엔드포인트를 제공하는 데 매우 비용 효율적인 방법입니다.
다른 모델에 대한 사용자 정의
다른 모델을 사용하고 싶으신가요? 두 개의 파일을 업데이트하세요:
- app.py에서 모델을 변경합니다.
npx scaffoldly create app --template python-huggingface
- scaffoldly.json에서 다운로드를 업데이트합니다.
cd my-app && npx scaffoldly deploy
비공개 또는 제한 모델 사용
Scaffoldly는 HF_TOKEN 환경 변수를 통해 비공개 및 게이트 모델을 지원합니다. 다양한 방법으로 Hugging Face 토큰을 추가할 수 있습니다:
- 로컬 개발: 셸 프로필(.bashrc, .zprofile 등)에 추가하세요.
# app.py from flask import Flask from transformers import pipeline app = Flask(__name__) generator = pipeline('text-generation', model='openai-community/gpt2') @app.route("/") def hello_world(): output = generator("Hello, world,") return output[0]['generated_text']
- CI/CD: GitHub Actions 비밀로 추가:
// requirements.txt Flask ~= 3.0 gunicorn ~= 23.0 torch ~= 2.5 numpy ~= 2.1 transformers ~= 4.46 huggingface_hub[cli] ~= 0.26
토큰은 비공개 또는 제한 모델을 다운로드하고 액세스하는 데 자동으로 사용됩니다.
CI/CD 보너스
Scaffoldly는 자동화된 배포를 위한 GitHub Action도 생성합니다.
// scaffoldly.json { "name": "python-huggingface", "runtime": "python:3.12", "handler": "localhost:8000", "files": ["app.py"], "packages": ["pip:requirements.txt"], "resources": ["arn::elasticfilesystem:::file-system/.cache"], "schedules": { "@immediately": "huggingface-cli download openai-community/gpt2" }, "scripts": { "start": "gunicorn app:app" }, "memorySize": 1024 }
직접 시도해 보세요
전체 예제는 GitHub에서 확인할 수 있습니다.
scaffoldly/scaffoldly-examples#python-huggingface
그리고 다음을 실행하여 이 예제의 복사본을 만들 수 있습니다.
generator = pipeline('text-generation', model='your-model-here')
실시간으로 실행되는 것을 볼 수 있습니다(CPU 추론으로 인해 응답이 느릴 수 있음).
라이브 데모
다음은 무엇입니까?
- 다양한 포옹 얼굴 모델을 배포해 보세요
- Discord에서 Scaffoldly 커뮤니티에 가입하세요
- 다른 사례를 확인해보세요
- 이 정보가 유용했다면 저장소에 별표를 표시해 주세요!
- 스캐폴드 툴체인
- Scaffoldly 예제 저장소
라이센스
Scaffoldly는 오픈 소스이며 커뮤니티의 기여를 환영합니다.
- 예제는 Apache-2.0 라이선스로 라이선스가 부여됩니다.
- Scaffoldly 툴체인은 FSL-1.1-Apache-2.0 라이선스로 라이선스가 부여됩니다.
AWS Lambda에서 실행하고 싶은 다른 모델은 무엇입니까? 댓글로 알려주세요!
위 내용은 포옹하는 얼굴 모델을 AWS Lambda에 몇 단계로 배포의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

Python의 유연성은 다중 파리가 지원 및 동적 유형 시스템에 반영되며, 사용 편의성은 간단한 구문 및 풍부한 표준 라이브러리에서 나옵니다. 유연성 : 객체 지향, 기능 및 절차 프로그래밍을 지원하며 동적 유형 시스템은 개발 효율성을 향상시킵니다. 2. 사용 편의성 : 문법은 자연 언어에 가깝고 표준 라이브러리는 광범위한 기능을 다루며 개발 프로세스를 단순화합니다.

Python은 초보자부터 고급 개발자에 이르기까지 모든 요구에 적합한 단순성과 힘에 호의적입니다. 다목적 성은 다음과 같이 반영됩니다. 1) 배우고 사용하기 쉽고 간단한 구문; 2) Numpy, Pandas 등과 같은 풍부한 라이브러리 및 프레임 워크; 3) 다양한 운영 체제에서 실행할 수있는 크로스 플랫폼 지원; 4) 작업 효율성을 향상시키기위한 스크립팅 및 자동화 작업에 적합합니다.

예, 하루에 2 시간 후에 파이썬을 배우십시오. 1. 합리적인 학습 계획 개발, 2. 올바른 학습 자원을 선택하십시오. 3. 실습을 통해 학습 된 지식을 통합하십시오. 이 단계는 짧은 시간 안에 Python을 마스터하는 데 도움이 될 수 있습니다.

Python은 빠른 개발 및 데이터 처리에 적합한 반면 C는 고성능 및 기본 제어에 적합합니다. 1) Python은 간결한 구문과 함께 사용하기 쉽고 데이터 과학 및 웹 개발에 적합합니다. 2) C는 고성능과 정확한 제어를 가지고 있으며 게임 및 시스템 프로그래밍에 종종 사용됩니다.

Python을 배우는 데 필요한 시간은 개인마다 다릅니다. 주로 이전 프로그래밍 경험, 학습 동기 부여, 학습 리소스 및 방법 및 학습 리듬의 영향을받습니다. 실질적인 학습 목표를 설정하고 실용적인 프로젝트를 통해 최선을 다하십시오.

파이썬은 자동화, 스크립팅 및 작업 관리가 탁월합니다. 1) 자동화 : 파일 백업은 OS 및 Shutil과 같은 표준 라이브러리를 통해 실현됩니다. 2) 스크립트 쓰기 : PSUTIL 라이브러리를 사용하여 시스템 리소스를 모니터링합니다. 3) 작업 관리 : 일정 라이브러리를 사용하여 작업을 예약하십시오. Python의 사용 편의성과 풍부한 라이브러리 지원으로 인해 이러한 영역에서 선호하는 도구가됩니다.

제한된 시간에 Python 학습 효율을 극대화하려면 Python의 DateTime, Time 및 Schedule 모듈을 사용할 수 있습니다. 1. DateTime 모듈은 학습 시간을 기록하고 계획하는 데 사용됩니다. 2. 시간 모듈은 학습과 휴식 시간을 설정하는 데 도움이됩니다. 3. 일정 모듈은 주간 학습 작업을 자동으로 배열합니다.

Python은 게임 및 GUI 개발에서 탁월합니다. 1) 게임 개발은 Pygame을 사용하여 드로잉, 오디오 및 기타 기능을 제공하며 2D 게임을 만드는 데 적합합니다. 2) GUI 개발은 Tkinter 또는 PYQT를 선택할 수 있습니다. Tkinter는 간단하고 사용하기 쉽고 PYQT는 풍부한 기능을 가지고 있으며 전문 개발에 적합합니다.


핫 AI 도구

Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool
무료로 이미지를 벗다

Clothoff.io
AI 옷 제거제

AI Hentai Generator
AI Hentai를 무료로 생성하십시오.

인기 기사

뜨거운 도구

SublimeText3 영어 버전
권장 사항: Win 버전, 코드 프롬프트 지원!

SecList
SecLists는 최고의 보안 테스터의 동반자입니다. 보안 평가 시 자주 사용되는 다양한 유형의 목록을 한 곳에 모아 놓은 것입니다. SecLists는 보안 테스터에게 필요할 수 있는 모든 목록을 편리하게 제공하여 보안 테스트를 더욱 효율적이고 생산적으로 만드는 데 도움이 됩니다. 목록 유형에는 사용자 이름, 비밀번호, URL, 퍼징 페이로드, 민감한 데이터 패턴, 웹 셸 등이 포함됩니다. 테스터는 이 저장소를 새로운 테스트 시스템으로 간단히 가져올 수 있으며 필요한 모든 유형의 목록에 액세스할 수 있습니다.

Eclipse용 SAP NetWeaver 서버 어댑터
Eclipse를 SAP NetWeaver 애플리케이션 서버와 통합합니다.

VSCode Windows 64비트 다운로드
Microsoft에서 출시한 강력한 무료 IDE 편집기

에디트플러스 중국어 크랙 버전
작은 크기, 구문 강조, 코드 프롬프트 기능을 지원하지 않음
