Bagaimana untuk Mengoptimumkan Masa Respons JSON untuk Set Data Besar dalam FastAPI?

Mengoptimumkan Masa Respons JSON untuk Set Data Besar dalam FastAPI

Isu:

Mengambil sejumlah besar data JSON daripada Titik akhir FastAPI nyata perlahan, memerlukan kira-kira seminit. Data pada mulanya dimuatkan daripada fail parket menggunakan json.loads() dan ditapis sebelum dikembalikan. Mencari pendekatan yang lebih pantas untuk menyampaikan data.

Penyelesaian:

Masa respons yang perlahan berpunca daripada berbilang penukaran JSON dalam fungsi parse_parquet(). FastAPI secara automatik mengekod nilai yang dikembalikan menggunakan jsonable_encoder sebelum mensirikannya dengan json.dumps(), satu proses yang memakan masa. Pengekod JSON luaran seperti orjson atau ujson menawarkan peningkatan kelajuan yang berpotensi.

Walau bagaimanapun, penyelesaian yang paling berkesan adalah untuk mengelakkan penukaran JSON yang tidak diperlukan. Kod berikut menggunakan kelas APIRoute tersuai untuk mendayakan respons JSON terus daripada panda DataFrames:

<code class="python">from fastapi import APIRoute

class TimedRoute(APIRoute):
    # Custom handler for capturing response time
    def get_route_handler(self):
        original_route_handler = super().get_route_handler()
        
        async def custom_route_handler(request):
            before = time.time()
            response = await original_route_handler(request)
            duration = time.time() - before
            response.headers["Response-Time"] = str(duration)
            print(f"route duration: {duration}")
            return response

        return custom_route_handler</code>

Kod ini membolehkan anda membandingkan masa respons kaedah penukaran data yang berbeza. Menggunakan fail parket sampel dengan 160,000 baris dan 45 lajur, keputusan berikut diperoleh:

• Pengekod FastAPI Lalai (json.dumps()): Paling Lambat
• orjson: Setanding dengan pengekod lalai
• ujson: Lebih laju sedikit daripada orjson
• PandasJSON (df.to_json()): Paling ketara lebih pantas

Untuk meningkatkan pengalaman pengguna, pertimbangkan untuk menetapkan pengepala Pelupusan Kandungan dengan parameter lampiran dan nama fail untuk memulakan muat turun dan bukannya memaparkan data dalam penyemak imbas. Pendekatan ini memintas kekangan penyemak imbas dan mempercepatkan proses.

Selain itu, Dask menyediakan pengendalian optimum set data besar, menawarkan alternatif kepada panda. Respons penstriman atau tak segerak juga boleh dipertimbangkan untuk mengelakkan masalah ingatan apabila berurusan dengan volum data yang besar.

Atas ialah kandungan terperinci Bagaimana untuk Mengoptimumkan Masa Respons JSON untuk Set Data Besar dalam FastAPI?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!