如何在Python通过Flask实现流式响应生成并下载大文件

夏丽同学_3311

夏丽同学_3311

2026-09-08

601人浏览

原创

Flask流式响应需用Response包装生成器并设direct_passthrough=True禁用Werkzeug缓冲,Content-Type和Content-Disposition头必设,文本用StringIO+csv.writer分块yield,二进制用BytesIO和固定大小bytes chunk,Nginx需关proxy_buffering。

如何在python通过flask实现流式响应生成并下载大文件

Flask 中用 Response 实现流式响应的关键点

Flask 本身不支持“边生成边发送”的自动 chunked 编码,必须手动构造 Response 并设置 content_type 和 headers。核心是传入一个可迭代对象(如生成器),且不能提前计算长度——否则 Flask 会尝试读取全部内容进内存,失去流式意义。

常见错误是直接返回 jsonify() 或字符串拼接结果,这会让整个响应体被缓存;还有人误用 stream_with_context 却没关掉 Werkzeug 的中间件缓冲,导致客户端收不到实时数据。

  • 必须禁用 Werkzeug 的 Response 自动缓冲:在构造 Response 时显式设 direct_passthrough=True
  • Content-Type 应设为 "application/octet-stream" 或具体 MIME 类型(如 "text/csv"),避免浏览器试图解析渲染
  • 务必设置 Content-Disposition header 指定文件名和下载行为,否则可能被当成内联内容打开
  • 生成器函数里不要有阻塞 IO(如同步数据库查询、time.sleep()),否则会卡住整个响应流

用生成器分块写入大 CSV 文件并下载

这是最典型的大文件流式导出场景:数据量超内存、字段含特殊字符、需保持顺序。关键不是“快”,而是“不崩”和“不断”。生成器每 yield 一行就触发一次 HTTP chunk 发送,内存占用恒定在几 KB 级别。

示例中用 csv.writer 写入 StringIO,再用 .getvalue() 提取单行字符串——注意不能把整个 StringIO 传给 Response,否则又全加载进内存了。

from flask import Response, request
import csv
from io import StringIO
<p>def generate_csv_rows():
yield "name,age,city\n"
for i in range(100000):</p><h1>模拟从数据库或 API 流式拉取</h1><pre class="brush:php;toolbar:false;">    row = [f"user_{i}", str(20 + i % 50), "Shanghai"]
    output = StringIO()
    writer = csv.writer(output)
    writer.writerow(row)
    yield output.getvalue()

@app.route('/export.csv') def stream_csv(): headers = { "Content-Disposition": 'attachment; filename="users.csv"', "Content-Type": "text/csv; charset=utf-8", } return Response( generate_csv_rows(), headers=headers, direct_passthrough=True # ⚠️ 必须加!否则 Werkzeug 会缓冲 )

处理二进制大文件(如 ZIP、PDF)的流式下载

CSV 是文本,但 ZIP/PDF 是二进制,不能用 StringIO 或字符串 yield。必须用 BytesIO,且 yield 的每个 chunk 必须是 bytes 类型。常见坑是用 open(..., 'r') 打开二进制文件,或者对 bytes 调用 .decode() 导致异常。

Sakura python draw
Sakura python draw

使用Python的turtle和random库,递归绘制分形樱花树,并动画模拟花瓣自然飘落效果。

下载

如果文件已存在磁盘,最稳妥方式是用 yield from 直接转发文件句柄;如果是动态生成(如用 zipfile 构建 ZIP),就得边写边 yield buffer 内容,且 buffer 大小建议控制在 8192 字节以内,兼顾网络吞吐与延迟。

  • 读取已有文件时,用 open(path, 'rb') + iter(lambda: f.read(8192), b'') 最简洁安全
  • 动态生成 ZIP 时,不要调用 zip_file.close(),改用 zip_file.fp.getvalue() 只适用于小 ZIP;大 ZIP 必须用 zip_file.fp 的底层 buffer 并分段读取
  • Nginx 或反向代理默认会缓冲响应,若部署在线上,需额外配置 proxy_buffering off; 和 chunked_transfer_encoding on;

前端如何正确接收流式响应并触发下载

浏览器原生 <a href="/export.csv"></a> 不支持流式响应的进度反馈,且无法捕获失败;用 fetch 获取 Response.body 后,必须用 ReadableStream + pipeTo 写入 WritableStream(如 FileSaver.js),否则容易卡死或只下载空文件。

更现实的做法是:后端返回一个临时 token,前端轮询状态,完成后跳转到预签名 URL 下载——这对真正超大文件(GB 级)更可靠;而纯流式适合百 MB 级、生成耗时可控的场景。

  • 不要用 response.json() 处理流式响应,它会等待完整 body,直接报错
  • 用 response.body.getReader() 手动读取 chunks,配合 Uint8Array 拼接,最后用 URL.createObjectURL(new Blob([data])) 触发下载
  • Chrome 对长连接流式响应有约 5 分钟 idle 超时,后端需在生成器中定期 yield 一个空字节(如 b'\n')保活,尤其当数据源间隔较长时

实际中最容易被忽略的是反向代理层的行为——开发时 localhost 直连 Flask 没问题,一上 Nginx 就卡住或返回 502,这时得查 proxy_buffering 和 proxy_max_temp_file_size 配置,而不是反复改 Python 代码。

Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

2023.07.20

1631

4

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

2023.07.25

4024

7

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.31

1629

3

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

2023.08.03

23177

23

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

2847

5

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

2887

5

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

1123

5

python合并两个列表
python合并两个列表

Python是一种强大的编程语言,具有许多方便的功能和工具。在Python中,有多种方法可以合并两个列表。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.10

596

4

python是前端还是后端
python是前端还是后端

Python属于前端也属于后端,其灵活性和丰富的生态系统使得开发人员能够在不同的领域中灵活运用。本专题为大家提供python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

2223

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程