Comment FLASK implémente-t-il le streaming de données en temps réel de type ChatGPT?

Construire un flux de données en temps réel à l'aide du framework Flask: simulation de réponse Chatgpt

Dans le développement d'applications Web Flask, il est souvent nécessaire de simuler l'effet de transmission de données en temps réel de Chatgpt, c'est-à-dire que les données sont générées et transmises immédiatement au client, plutôt que d'attendre que toutes les données soient générées avant de les envoyer ensemble. Cet article présentera comment utiliser Flask pour implémenter ce streaming et résoudre les problèmes de latence présents dans les méthodes traditionnelles.

Le problème avec les méthodes traditionnelles est que lorsque l'objet response reçoit la valeur de retour de la fonction générée des données, elle bloquera jusqu'à ce que la fonction soit entièrement exécutée, puis toutes les données seront renvoyées au client à la fois. Cela fait que le client attend la fin du processus de génération avant de voir une sortie.

Afin d'atteindre une transmission en temps réel, nous devons utiliser le décorateur stream_with_context de Flask. Ce décorateur garantit qu'il est envoyé immédiatement au client chaque fois que les données sont générées, en évitant les retards.

Le code amélioré est le suivant:

 From Flask Import Flask, Response, Stream_With_Context
à partir de temps pour sommeil

app = flacon (__ name__)

@ app.Route ('/ stream')
def Stream ():
    Def Generate ():
        pour I à portée (1, 21):
            Imprimer (i)
            le rendement f'c est item {i} \ n '
            sommeil (0,5)

    retour de réponse (stream_with_context (generate ()), mimeType = 'text / plain')

Si __Name__ == '__MAIN__':
    app.run (debug = true)

La clé consiste à appliquer stream_with_context à la valeur de retour de la fonction generate() . Cela permet response d'envoyer des données immédiatement après chaque opération yield , réalisant ainsi l'effet de transmission en temps réel. Par rapport aux méthodes traditionnelles, cette version améliorée simule plus précisément la réponse en temps réel de Chatgpt. Le contenu de la fonction generate() peut être ajusté en fonction des besoins réels, tels que la lecture des données de la base de données ou la réalisation de calculs complexes, tant qu'une petite quantité de données est générée à chaque fois et renvoyée à l'aide yield . Cela fournit une solution de transmission de données de streaming plus flexible et efficace.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!