Python Web如何结合AI_后端调用大模型API并流式返回(Chat)-Python教程-PHP中文网

根本原因是未关闭响应缓冲或未正确设置stream=true及解码方式；需requests.post(stream=true)、手动解析sse、设content-type为text/event-stream、禁用缓存与代理缓冲，并确保sse格式合规。

python web如何结合ai_后端调用大模型api并流式返回(chat)

用 `requests` 流式请求大模型 API 时，为什么前端收不到 chunk？

根本原因是没关响应缓冲，或没设对 stream=True 和解码方式。Python 后端默认把整个响应体攒完才发，而大模型流式输出（如 text/event-stream 或分块 JSON）必须边收边转。

必须显式传 stream=True 给 requests.post()，否则 response.iter_lines() 或 response.iter_content() 直接报错或空返回
大模型 API（如 OpenAI、Ollama、DashScope）多数用 text/event-stream，但 requests 不自动解析 SSE，得手动按 data: 行提取内容
别用 response.json() —— 它会等全部响应结束，彻底破坏流式语义

示例关键片段：

response = requests.post(url, json=payload, stream=True)
for line in response.iter_lines():
    if line and line.startswith(b'data:'):
        try:
            chunk = json.loads(line[6:].decode())
            yield f"data: {json.dumps(chunk)}\n\n"
        except json.JSONDecodeError:
            continue

Django/Flask 返回流式响应时，Content-Type 和 headers 怎么设才不被浏览器截断？

浏览器和反向代理（如 Nginx）看到普通 text/html 或缺 Transfer-Encoding: chunked，会缓存整段响应再渲染，导致“卡住”。必须明确告诉客户端：这是流，别等。

python-parallelization

将顺序 Python 代码转换为并行/并发实现，用于在需要并行化 Python 代码、提升性能时使用。

下载

Flask：用 Response 构造，mimetype="text/event-stream"，且加 headers={"Cache-Control": "no-cache", "X-Accel-Buffering": "no"}（后者专治 Nginx 缓冲）
Django：返回 StreamingHttpResponse，content_type="text/event-stream"，同样加 Cache-Control 和 X-Accel-Buffering
别漏 yield 后的换行 —— SSE 要求每条消息以 \n\n 结尾，少一个就解析失败
本地调试时，用 curl -N http://localhost:8000/chat（-N 关闭 curl 缓冲），比浏览器更准

FastAPI 的 `StreamingResponse` 为啥有时卡住不吐字？

不是代码写错，是 async/await 混用不当。FastAPI 的 StreamingResponse 期望一个同步可迭代对象或异步生成器，但如果你在 async 函数里 yield 同步数据，或反过来，事件循环就挂起。

调用大模型 API 用 httpx.AsyncClient，不是 requests —— 后者会阻塞 event loop

流式返回函数必须是 async def，且 yield 前加 await 等待每个 chunk，例如：

async def chat_stream():
    async with httpx.AsyncClient() as client:
        async with client.stream("POST", url, json=payload) as r:
            async for line in r.aiter_lines():
                if line.startswith("data:"):
                    yield line + "\n\n"

别在 StreamingResponse 里混用 time.sleep() 或其他同步阻塞操作
Uvicorn 启动时加 --timeout-keep-alive 5，避免长连接被过早断开

前端收到 event-stream 后，为什么只触发一次 `onmessage`？

后端发的每条消息格式不对，或者前端没重连。SSE 协议很脆弱，错一个字符就中断连接。

确保后端每条 yield 都是完整的一组：data: {...}\n\n，不能有空格、多出的逗号、未转义引号
前端 EventSource 默认 3s 断线重连，但大模型首 token 延迟常超这个值，加 retry: 10000（毫秒）更稳：
```
const es = new EventSource("/chat", { withCredentials: true });
es.addEventListener("message", e => console.log(e.data));
```
如果用 fetch + ReadableStream，注意 response.body.getReader() 必须在 while 循环里反复 read()，不能只读一次
Chrome 开发者工具 Network → Response Headers 里确认有 Content-Type: text/event-stream，没有就说明后端 header 没生效