大きなファイル (3 GB 以上) を FastAPI バックエンドに効果的にアップロードするにはどうすればよいですか?

大きなファイル (≥3GB) を FastAPI バックエンドにアップロードする方法?

FastAPI は、ファイルの一部を取得することで 1MB を超えるファイルを処理できますリクエスト本文から一度に。この方法では、ファイル全体をメモリにロードする必要がなくなります。これは、大きなファイルを扱う場合に推奨されます。

クライアント側リクエスト:

m = MultipartEncoder(fields = {"upload_file":open(file_name,'rb')})
prefix = "http://xxx:5000"
url = "{}/v1/uploadfiles".format(prefix)
try:
    req = requests.post(
    url,
    data=m,
    verify=False,
            )

サーバー側の応答:

HTTP 422 {"detail":[{"loc":["body","upload_file"],"msg":"field required","type":"value_error.missing"}]}

理由エラーの場合:

このエラーは、クライアント側のリクエストで Content-Type ヘッダーが省略されているために発生します。 FastAPI は、ファイルをアップロードするときにクライアントがマルチパート/フォームデータ リクエストを送信することを期待します。 Content-Type ヘッダーがないと、FastAPI はリクエスト本文を正しく解析できません。

解決策 1 (推奨): ストリーミング ファイル アップロードとチャンク エンコードされたリクエストの使用

HTTPX ライブラリデフォルトでストリーミング ファイル アップロードをサポートしているため、ファイルを完全にロードせずに送信できます。

例:

import httpx
import time

url = 'http://127.0.0.1:8000/upload'
files = {'file': open('bigFile.zip', 'rb')}
headers = {'Filename': 'bigFile.zip'}
data = {'data': 'Hello World!'}

with httpx.Client() as client:
    start = time.time()
    r = client.post(url, data=data, files=files, headers=headers)
    end = time.time()
    print(f'Time elapsed: {end - start}s')
    print(r.status_code, r.json(), sep=' ')

解決策 2:streaming_form_data ライブラリを使用する

このライブラリはストリーミング マルチパート/フォームを提供します-Python 用のデータ パーサー。リクエスト全体を完全にロードせずにマルチパート/フォームデータ リクエストを解析できます。ボディをメモリに保存します。

例:

from streaming_form_data import StreamingFormDataParser
from streaming_form_data.targets import FileTarget, ValueTarget

app = FastAPI()
MAX_REQUEST_BODY_SIZE = 1024 * 1024 * 1024 * 4  # = 4GB
MAX_FILE_SIZE = 1024 * 1024 * 1024 * 3  # = 3GB

@app.post('/upload')
async def upload(request: Request):
    
    parser = StreamingFormDataParser(headers=request.headers)
    filename = request.headers.get('Filename')
    file_ = FileTarget('./' + filename)
    data = ValueTarget()
    parser.register('file', file_)
    parser.register('data', data)
    body_validator = MaxBodySizeValidator(MAX_REQUEST_BODY_SIZE)
    file_validator = MaxSizeValidator(MAX_FILE_SIZE)
    
    async for chunk in request.stream():
        body_validator(chunk)
        parser.data_received(chunk)

以上が大きなファイル (3 GB 以上) を FastAPI バックエンドに効果的にアップロードするにはどうすればよいですか?の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。