FastAPI 백엔드에 대용량 파일(≥3GB)을 효과적으로 업로드하는 방법은 무엇입니까?

FastAPI 백엔드에 대용량 파일(≥3GB)을 업로드하는 방법은 무엇입니까?

FastAPI는 파일의 일부를 검색하여 1MB를 초과하는 파일을 처리할 수 있습니다. 요청 본문에서 한 번에. 이 접근 방식을 사용하면 전체 파일을 메모리에 로드할 필요가 없으므로 대용량 파일을 처리할 때 권장됩니다.

클라이언트 측 요청:

m = MultipartEncoder(fields = {"upload_file":open(file_name,'rb')})
prefix = "http://xxx:5000"
url = "{}/v1/uploadfiles".format(prefix)
try:
    req = requests.post(
    url,
    data=m,
    verify=False,
            )

서버측 응답:

HTTP 422 {"detail":[{"loc":["body","upload_file"],"msg":"field required","type":"value_error.missing"}]}

이유 오류:

클라이언트 측 요청에서 Content-Type 헤더를 생략했기 때문에 오류가 발생합니다. FastAPI는 파일을 업로드할 때 클라이언트가 multipart/form-data 요청을 보낼 것으로 예상합니다. Content-Type 헤더가 없으면 FastAPI는 요청 본문을 올바르게 구문 분석할 수 없습니다.

해결책 1(권장): 스트리밍 파일 업로드 및 청크 인코딩 요청 사용

HTTPX 라이브러리 기본적으로 스트리밍 파일 업로드를 지원하므로 파일을 완전히 로드하지 않고도 파일을 보낼 수 있습니다. memory.

예:

import httpx
import time

url = 'http://127.0.0.1:8000/upload'
files = {'file': open('bigFile.zip', 'rb')}
headers = {'Filename': 'bigFile.zip'}
data = {'data': 'Hello World!'}

with httpx.Client() as client:
    start = time.time()
    r = client.post(url, data=data, files=files, headers=headers)
    end = time.time()
    print(f'Time elapsed: {end - start}s')
    print(r.status_code, r.json(), sep=' ')

해결책 2: Streaming_form_data 라이브러리 사용

이 라이브러리는 스트리밍 멀티파트/양식을 제공합니다. -Python용 데이터 파서: 전체를 완전히 로드하지 않고도 다중 부분/양식 데이터 요청을 구문 분석할 수 있습니다. 본문을 메모리에 요청합니다.

예:

from streaming_form_data import StreamingFormDataParser
from streaming_form_data.targets import FileTarget, ValueTarget

app = FastAPI()
MAX_REQUEST_BODY_SIZE = 1024 * 1024 * 1024 * 4  # = 4GB
MAX_FILE_SIZE = 1024 * 1024 * 1024 * 3  # = 3GB

@app.post('/upload')
async def upload(request: Request):
    
    parser = StreamingFormDataParser(headers=request.headers)
    filename = request.headers.get('Filename')
    file_ = FileTarget('./' + filename)
    data = ValueTarget()
    parser.register('file', file_)
    parser.register('data', data)
    body_validator = MaxBodySizeValidator(MAX_REQUEST_BODY_SIZE)
    file_validator = MaxSizeValidator(MAX_FILE_SIZE)
    
    async for chunk in request.stream():
        body_validator(chunk)
        parser.data_received(chunk)

위 내용은 FastAPI 백엔드에 대용량 파일(≥3GB)을 효과적으로 업로드하는 방법은 무엇입니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!