Maîtriser Python Async IO avec FastAPI

Puisque Python est un langage interprété, lorsqu'il est utilisé pour le développement back-end, comme dans la combinaison de Python Django, par rapport à Java Spring, son temps de réponse sera un peu plus long. Toutefois, tant que le code est raisonnable, la différence n’est pas trop significative. Même lorsque Django utilise le mode multi-processus, sa capacité de traitement simultané reste bien plus faible. Python propose des solutions pour améliorer les capacités de traitement simultané. Par exemple, en utilisant le framework asynchrone FastAPI, avec ses capacités asynchrones, la capacité de traitement simultané des tâches gourmandes en E/S peut être considérablement améliorée. FastAPI est l'un des frameworks Python les plus rapides.

FastAPI comme exemple

Voyons d'abord brièvement comment utiliser FastAPI.

Exemple 1 : E/S asynchrones du réseau par défaut

Installation :

pip install fastapi

Code simple côté serveur :

# app.py
from typing import Union

from fastapi import FastAPI

app = FastAPI()


@app.get("/")
async def read_root():
    return {"Hello": "World"}

Démarrage :

uvicorn app:app --reload

On constate que, par rapport à d'autres frameworks, l'interface de FastAPI n'a qu'un mot-clé async supplémentaire. Le mot-clé async définit l'interface comme asynchrone. À partir du seul résultat renvoyé, nous ne pouvons pas faire la différence entre FastAPI et les autres frameworks Python. La différence réside dans l'accès simultané. Lorsque les threads du serveur de FastAPI gèrent les requêtes de route, telles que http://127.0.0.1:8000/, s'ils rencontrent des E/S réseau, ils ne l'attendront plus mais traiteront d'autres requêtes à la place. Lorsque les E/S réseau sont terminées, l'exécution reprend. Cette capacité asynchrone améliore la capacité de traitement des tâches gourmandes en E/S.

Exemple 2 : E/S asynchrones de réseau explicites

Regardons un autre exemple. Dans le code métier, une requête réseau asynchrone explicite est lancée. Pour ces E/S réseau, tout comme les requêtes de route, FastAPI les gérera également de manière asynchrone.

# app.py
from fastapi import FastAPI, HTTPException
import httpx

app = FastAPI()

# Example of an asynchronous GET request
@app.get("/external-api")
async def call_external_api():
    url = "https://leapcell.io"
    async with httpx.AsyncClient() as client:
        response = await client.get(url)
        if response.status_code!= 200:
            raise HTTPException(status_code=response.status_code, detail="Failed to fetch data")
        return response.json()

Si vous souhaitez que les E/S de la base de données soient asynchrones, vous avez besoin de la prise en charge des opérations asynchrones à partir du pilote de base de données ou de l'ORM.

E/S asynchrones

L'implémentation principale de l'asynchronie de FastAPI est l'E/S asynchrone. Nous pouvons démarrer un serveur avec des capacités de traitement asynchrone directement en utilisant des E/S asynchrones sans utiliser FastAPI.

import asyncio

from aiohttp import web

async def index(request):
    await asyncio.sleep(1)  # Simulate I/O operation
    return web.Response(text='{"Hello": "World"}', content_type='application/json')

async def init(loop):
    # Use the event loop to monitor web requests
    app = web.Application(loop=loop)
    app.router.add_route('GET', '/', index)
    # Start the server, and the event loop monitors and processes web requests
    srv = await loop.create_server(app.make_handler(), '127.0.0.1', 8000)
    print('Server started at http://127.0.0.1:8000...')
    return srv

# Explicitly get an event loop
loop = asyncio.get_event_loop()
# Start the event loop
loop.run_until_complete(init(loop))
loop.run_forever()

Lorsque cet exemple est démarré, le résultat renvoyé par http://127.0.0.1:8000/ est le même que celui de l'exemple 1. Le principe d'implémentation sous-jacent des E/S asynchrones est les « coroutines » et les « boucles d'événements ». .

Coroutines

pip install fastapi

L'index de fonction est défini avec async def, ce qui signifie qu'il s'agit d'une coroutine. Le mot clé wait est utilisé avant une opération d'E/S pour indiquer au thread d'exécution de ne pas attendre cette opération d'E/S. Les appels de fonctions normales sont implémentés via la pile, et les fonctions ne peuvent être appelées et exécutées qu'une par une. Cependant, une coroutine est un type particulier de fonction (pas un fil collaboratif). Il permet au thread de suspendre l'exécution à la marque d'attente et de passer à l'exécution d'autres tâches. Une fois l'opération d'E/S terminée, l'exécution se poursuivra.

Jetons un coup d'œil à l'effet de plusieurs coroutines exécutées simultanément.

# app.py
from typing import Union

from fastapi import FastAPI

app = FastAPI()


@app.get("/")
async def read_root():
    return {"Hello": "World"}

Sortie :

uvicorn app:app --reload

On voit que le thread n'exécute pas les trois tâches une à une. Lorsqu'il rencontre une opération d'E/S, il passe à l'exécution d'autres tâches. Une fois l’opération d’E/S terminée, elle continue à s’exécuter. On peut également voir que les trois coroutines commencent essentiellement à attendre l'opération d'E/S en même temps, de sorte que les délais d'exécution de l'exécution finale sont fondamentalement les mêmes. Bien que la boucle d'événements ne soit pas utilisée explicitement ici, asyncio.run l'utilisera implicitement.

Générateurs

Les coroutines sont implémentées via des générateurs. Les générateurs peuvent suspendre l'exécution des fonctions et également la reprendre, ce qui est la caractéristique des coroutines.

# app.py
from fastapi import FastAPI, HTTPException
import httpx

app = FastAPI()

# Example of an asynchronous GET request
@app.get("/external-api")
async def call_external_api():
    url = "https://leapcell.io"
    async with httpx.AsyncClient() as client:
        response = await client.get(url)
        if response.status_code!= 200:
            raise HTTPException(status_code=response.status_code, detail="Failed to fetch data")
        return response.json()

Lors de l'exécution du générateur avec next(), lorsqu'il rencontre un rendement, il se met en pause. Lorsque next() est réexécuté, il continuera à s'exécuter à partir du rendement où il a été interrompu la dernière fois. Avant Python 3.5, les coroutines étaient également écrites avec un résultat "annotations". À partir de Python 3.5, async def wait est utilisé.

import asyncio

from aiohttp import web

async def index(request):
    await asyncio.sleep(1)  # Simulate I/O operation
    return web.Response(text='{"Hello": "World"}', content_type='application/json')

async def init(loop):
    # Use the event loop to monitor web requests
    app = web.Application(loop=loop)
    app.router.add_route('GET', '/', index)
    # Start the server, and the event loop monitors and processes web requests
    srv = await loop.create_server(app.make_handler(), '127.0.0.1', 8000)
    print('Server started at http://127.0.0.1:8000...')
    return srv

# Explicitly get an event loop
loop = asyncio.get_event_loop()
# Start the event loop
loop.run_until_complete(init(loop))
loop.run_forever()

Les fonctionnalités de pause et de reprise des générateurs peuvent être utilisées pour beaucoup de choses en plus des coroutines. Par exemple, il peut calculer en boucle et stocker des algorithmes. Par exemple, implémenter un triangle de Pascal (les deux extrémités de chaque ligne sont 1 et les nombres dans les autres positions sont la somme des deux nombres au-dessus).

async def index(request):
    await asyncio.sleep(1)  # Simulate I/O operation
    return web.Response(text='{"Hello": "World"}', content_type='application/json')

Sortie :

import asyncio
from datetime import datetime

async def coroutine3():
    print(f"Coroutine 3 started at {datetime.now()}")
    await asyncio.sleep(1)  # Simulate I/O operation
    print(f"Coroutine 3 finished at {datetime.now()}")

async def coroutine2():
    print(f"Coroutine 2 started at {datetime.now()}")
    await asyncio.sleep(1)  # Simulate I/O operation
    print(f"Coroutine 2 finished at {datetime.now()}")

async def coroutine1():
    print(f"Coroutine 1 started at {datetime.now()}")
    await asyncio.sleep(1)  # Simulate I/O operation
    print(f"Coroutine 1 finished at {datetime.now()}")

async def main():
    print("Main started")

    # Create tasks to make coroutines execute concurrently
    task1 = asyncio.create_task(coroutine1())
    task2 = asyncio.create_task(coroutine2())
    task3 = asyncio.create_task(coroutine3())

    # Wait for all tasks to complete
    await task1
    await task2
    await task3

    print("Main finished")

# Run the main coroutine
asyncio.run(main())

Boucles d'événements

Puisque l'exécution de la coroutine peut être suspendue, quand la coroutine reprendra-t-elle l'exécution ? Cela nécessite l'utilisation d'une boucle d'événements pour informer le thread d'exécution.

Main started
Coroutine 1 started at 2024-12-27 12:28:01.661251
Coroutine 2 started at 2024-12-27 12:28:01.661276
Coroutine 3 started at 2024-12-27 12:28:01.665012
Coroutine 1 finished at 2024-12-27 12:28:02.665125
Coroutine 2 finished at 2024-12-27 12:28:02.665120
Coroutine 3 finished at 2024-12-27 12:28:02.665120
Main finished

La boucle d'événements utilise la technologie de multiplexage d'E/S, cycliquement en permanence pour surveiller les événements où les coroutines peuvent continuer à s'exécuter. Lorsqu'ils pourront être exécutés, le thread continuera à exécuter les coroutines.

Technologie de multiplexage d'E/S

Pour comprendre le multiplexage E/S de manière simple : je suis le patron d'une station de messagerie. Je n'ai pas besoin d'interroger activement chaque coursier sur l'accomplissement de ses tâches. Au lieu de cela, les coursiers viendront me voir d'eux-mêmes après avoir terminé leurs tâches. Cela améliore ma capacité de traitement des tâches et je peux faire plus de choses.

select, poll et epoll peuvent tous réaliser le multiplexage d'E/S. Comparé à select et poll, epoll a de meilleures performances. Linux utilise généralement epoll par défaut et macOS utilise kqueue, qui est similaire à epoll et a des performances similaires.

Serveur Socket utilisant des boucles d'événements

pip install fastapi

Démarrez le socket du serveur pour surveiller le port spécifié. S'ils sont exécutés sur un système Linux, les sélecteurs utilisent epoll comme implémentation par défaut. Le code utilise epoll pour enregistrer un événement de réception de demande (accepter l'événement). Lorsqu'une nouvelle demande arrive, epoll déclenchera et exécutera la fonction de gestion des événements et, en même temps, enregistrera un événement de lecture (événement de lecture) pour traiter et répondre aux données de la demande. Lors d'un accès depuis le côté Web avec http://127.0.0.1:8000/, le résultat renvoyé est le même que celui de l'exemple 1. Journal d'exécution du serveur :

# app.py
from typing import Union

from fastapi import FastAPI

app = FastAPI()


@app.get("/")
async def read_root():
    return {"Hello": "World"}

Serveur de sockets

Utilisez directement Socket pour démarrer un serveur. Lorsqu'il est accessible avec un navigateur à l'adresse http://127.0.0.1:8080/ ou en utilisant curl http://127.0.0.1:8080/, il renverra {"Hello": "World">

uvicorn app:app --reload

Lorsque vous y accédez avec curl http://127.0.0.1:8001/, journal d'exécution du serveur :

# app.py
from fastapi import FastAPI, HTTPException
import httpx

app = FastAPI()

# Example of an asynchronous GET request
@app.get("/external-api")
async def call_external_api():
    url = "https://leapcell.io"
    async with httpx.AsyncClient() as client:
        response = await client.get(url)
        if response.status_code!= 200:
            raise HTTPException(status_code=response.status_code, detail="Failed to fetch data")
        return response.json()

Résumé

Les E/S asynchrones sont implémentées au niveau de la couche inférieure à l'aide de « coroutines » et de « boucles d'événements ». Les "coroutines" garantissent que lorsque le thread rencontre des opérations d'E/S marquées pendant l'exécution, il n'a pas besoin d'attendre la fin de l'E/S mais peut faire une pause et laisser le thread exécuter d'autres tâches sans blocage. Les « boucles d'événements » utilisent la technologie de multiplexage d'E/S, effectuant un cycle constant pour surveiller les événements d'E/S. Lorsqu'un certain événement d'E/S est terminé, le rappel correspondant est déclenché, permettant à la coroutine de poursuivre l'exécution.

---

Leapcell : la plate-forme idéale pour FastAPI et autres applications Python :

Enfin, permettez-moi de vous présenter la plateforme idéale pour déployer Flask/FastAPI : Leapcell.

Leapcell est une plate-forme de cloud computing conçue spécifiquement pour les applications distribuées modernes. Son modèle de tarification par répartition garantit l'absence de coûts inutiles, ce qui signifie que les utilisateurs ne paient que pour les ressources qu'ils utilisent réellement.

Les avantages uniques de Leapcell pour les applications WSGI/ASGI :

1. Prise en charge multilingue

• Prend en charge le développement en JavaScript, Python, Go ou Rust.

2. Déploiement gratuit de projets illimités

• Frais uniquement en fonction de l'utilisation. Aucun frais lorsqu'il n'y a aucune demande.

3. Rentabilité inégalée

• Payez à l'utilisation, sans frais d'inactivité.
• Par exemple, 25 $ peuvent prendre en charge 6,94 millions de requêtes, avec un temps de réponse moyen de 60 millisecondes.

4. Expérience de développeur simplifiée

• Interface utilisateur intuitive pour une configuration facile.
• Pipelines CI/CD entièrement automatisés et intégration GitOps.
• Mesures et journaux en temps réel, fournissant des informations exploitables.

5. Évolutivité sans effort et hautes performances

• Mise à l'échelle automatique pour gérer facilement une concurrence élevée.
• Zéro surcharge opérationnelle, permettant aux développeurs de se concentrer sur le développement.

Apprenez-en plus dans la documentation !

Twitter de Leapcell : https://x.com/LeapcellHQ

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!