Comment le streaming FLASK simule-t-il la réponse en temps réel de Chatgpt?

Simuler Chatgpt Réponse en temps réel à l'aide du streaming Flask

De nombreuses applications, telles que des chats en temps réel qui simulent Chatgpt ou des téléchargements de fichiers importants, doivent générer et transmettre des données tout en évitant de longues attentes sur le client. Cet article montre comment implémenter ce streaming dans le framework Python Flask et corrige les défauts du code d'origine.

Le code d'origine a essayé d'utiliser yield pour implémenter le streaming, mais comme l'objet response n'est retourné qu'après la fin de la fonction generate() , le navigateur doit attendre que toutes les données soient générées avant que le contenu ne soit affiché, ce qui ne correspond pas aux attentes de réponse en temps réel.

Code de problème:

 à partir de temps pour sommeil
From Flask Import Flask, Response, Stream_With_Context

app = flacon (__ name__)

@ app.Route ('/ stream', méthodes = ['get'])
def Stream ():
    Def Generate ():
        pour I à portée (1, 21):
            Imprimer (i)
            le rendement f'c est item {i} \ n '
            sommeil (0,5)

    retour de réponse (générer (), mimeType = 'text / plain')


Si __Name__ == '__MAIN__':
    app.run (debug = true)

Solution: utilisez correctement le décorateur stream_with_context de Flask. Ce décorateur garantit que les données sont renvoyées immédiatement au client chaque fois que yield est généré, permettant un véritable streaming. Code amélioré:

 depuis Flask Import Stream_With_Context, demande, jsonify

@ app.Route ('/ stream')
def streamed_response ():
    Def Generate ():
        Rendre 'bonjour'
        rendement demande.args.get ('name', 'world') # utilisez get () pour éviter Keyerror
        rendement '!'
    return jSonify ({'message': list (stream_with_context (generate ()))}) # revenez au format json

stream_with_context enveloppe la fonction generate , ce qui entraîne des données immédiatement chaque yield . Dans l'exemple, la génération de données est simple. Dans les applications réelles, generate peut contenir une logique plus complexe (telle que les requêtes de base de données ou les calculs complexes), mais la fonction de stream_with_context est toujours pour garantir la transmission en temps opportun des données. request.args.get('name', 'World') obtient des données à partir des paramètres de demande, implémente un streaming plus flexible et utilise la méthode get() pour gérer les paramètres manquants pour éviter les erreurs KeyError . Enfin, l'utilisation jsonify pour envelopper le résultat au format JSON, ce qui convient plus au traitement frontal.

Grâce aux améliorations ci-dessus, l'effet de réponse en temps réel de Chatgpt peut être simulé efficacement.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!