Bagaimanakah streaming Flask mensimulasikan tindak balas masa nyata ChatGPT?

Simulasi respons masa nyata Chatgpt menggunakan streaming flask

Banyak aplikasi, seperti sembang masa nyata yang mensimulasikan ChATGPT atau muat turun fail besar, perlu menjana dan menghantar data sambil mengelakkan menunggu lama pada pelanggan. Artikel ini menunjukkan cara melaksanakan streaming ini dalam rangka kerja python dan membetulkan kelemahan dalam kod asal.

Kod asal cuba menggunakan yield untuk melaksanakan streaming, tetapi sejak objek response hanya dikembalikan selepas fungsi generate() berakhir, penyemak imbas mesti menunggu semua data dihasilkan sebelum kandungan dipaparkan, yang tidak sepadan dengan jangkaan tindak balas masa nyata.

Kod Masalah:

 dari masa tidur import
Dari Flask Import Flask, Response, Stream_With_Context

app = flask (__ name__)

@app.Route ('/stream', methods = ['get'])
aliran def ():
    def menghasilkan ():
        untuk saya dalam julat (1, 21):
            Cetak (i)
            hasil f'this adalah item {i} \ n '
            Tidur (0.5)

    Tindak balas kembali (menjana (), mimetype = 'teks/kosong')


jika __name__ == '__main__':
    app.run (debug = benar)

Penyelesaian: Gunakan Flask's stream_with_context Decorator dengan betul. Penghias ini memastikan data dikembalikan kepada pelanggan dengan segera setiap kali yield dihasilkan, membolehkan streaming benar. Kod yang lebih baik:

 Dari flask import stream_with_context, permintaan, jsonify

@App.Route ('/Stream')
def streamed_response ():
    def menghasilkan ():
        menghasilkan 'hello'
        permintaan hasil.args.get ('nama', 'dunia') # gunakan get () untuk mengelakkan keyError
        Hasil '!'
    kembali jsonify ({'mesej': list (stream_with_context (menghasilkan ()))}) # kembali ke format json

stream_with_context membungkus fungsi generate , menyebabkan data dihantar dengan serta -merta setiap yield . Dalam contoh, penjanaan data adalah mudah. Dalam aplikasi sebenar, fungsi generate mungkin mengandungi logik yang lebih kompleks (seperti pertanyaan pangkalan data atau pengiraan kompleks), tetapi fungsi stream_with_context masih untuk memastikan penghantaran data tepat pada masanya. request.args.get('name', 'World') memperoleh data dari parameter permintaan, melaksanakan lebih banyak streaming fleksibel, dan menggunakan kaedah get() untuk menangani parameter yang hilang untuk mengelakkan kesilapan KeyError . Akhirnya, menggunakan jsonify untuk membungkus hasilnya ke dalam format JSON, yang lebih sesuai untuk pemprosesan front-end.

Melalui penambahbaikan di atas, kesan tindak balas masa nyata dari CHATGPT dapat disimulasikan dengan berkesan.

Atas ialah kandungan terperinci Bagaimanakah streaming Flask mensimulasikan tindak balas masa nyata ChatGPT?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!