怎么在Scrapy中处理Gzip或Brotli压缩的响应内容?

云芳小哥_5954

云芳小哥_5954

2026-09-15

541人浏览

原创

Scrapy默认不支持Brotli解压,需手动安装brotli库、启用HttpCompressionMiddleware中间件,并在process_response中调用brotli.decompress()解压br编码响应,否则response.text会因字节未解压而抛出UnicodeDecodeError。

怎么在scrapy中处理gzip或brotli压缩的响应内容?

Scrapy 默认会自动解压 gzip 和 deflate 编码的响应,但不会处理 br(Brotli)——它直接透传原始字节,不触发解压逻辑,容易导致 UnicodeDecodeError 或解析失败。

为什么 response.text 报错 'utf-8 codec can't decode byte'?

这是最常见现象:响应头含 Content-Encoding: br 或 gzip,但你没做任何处理就直接调用 response.text。Scrapy 不会自动解压 br;对 gzip 虽默认支持,但若中间件链中禁用了 HttpCompressionMiddleware,或你手动设置了 stream=True 并读了 response.raw,也会跳过解压。

  • 检查 response.headers.get('Content-Encoding') 是否为 br、gzip 或 deflate
  • 确认 settings.py 中未将 scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware 设为 None
  • 避免在 parse 中使用 response.raw.read() —— 这绕过全部解压流程

如何启用 Brotli 解压支持?

必须手动补全三块:安装依赖、注册中间件、编写解压逻辑。Scrapy 本身不带 Brotli 支持。

  • 安装 brotli 或 brotlicffi:pip install brotli
  • 在 settings.py 中启用内置压缩中间件(它只负责识别编码,不实现解压):DOWNLOADER_MIDDLEWARES['scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware'] = 810
  • 自定义 process_response 方法,检测 br 后调用 brotli.decompress(response.body),再构造新 Response 对象并替换原响应
  • 注意:不要对已解压过的响应重复解压,需用 response.meta.get('decompressed') 标记状态

怎样安全地复用 Scrapy 的 gzip 自动解压能力?

别自己调 gzip.decompress() —— 容易漏掉 header 清理、Content-Length 重算等细节。直接信任 HttpCompressionMiddleware,但要确保它没被意外关闭。

  • 默认启用时,response.body 已是解压后字节,response.text 可直接用
  • 若需兼容性兜底(比如部分 CDN 返回 gzip 但服务端又禁用了中间件),可在 parse 开头加一层防御:
if response.headers.get('Content-Encoding') == b'gzip':
    import gzip
    try:
        body = gzip.decompress(response.body)
        response = response.replace(body=body)
    except (OSError, EOFError):
        pass  # 不是合法 gzip,保持原样

该逻辑仅作 fallback,不能替代中间件。

哪些场景必须手动干预压缩响应?

三种典型情况无法靠默认中间件解决:

  • 目标站返回 br 且你无法控制其 Accept-Encoding 行为(比如固定 UA 导致只收到 br)
  • 你启用了 stream=True 做分块处理(如大文件下载),此时 response.body 为空,必须自己从 response.raw 流式解压
  • 某些反爬站点故意混用编码(例如先 gzip 再 base64),需在中间件里组合解码

真正麻烦的从来不是“能不能解”,而是“解完要不要改 response.url、encoding、selector 状态”——这些元信息不会自动同步,漏掉就会让后续 css() 或 xpath() 失效。

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
免费爬虫工具有哪些
免费爬虫工具有哪些

免费爬虫工具有Scrapy、Beautiful Soup、ParseHub、Octoparse、Webocton Scriptly、RoboBrowser和Goutte。更多关于免费爬虫工具的问题,详情请看本专题下面的文章。php中文网欢迎大家前来学习。

2023.11.10

5993

9

GoFrame框架Web开发与路由中间件
GoFrame框架Web开发与路由中间件

本专题聚焦GoFrame框架的Web开发,拆解路由注册与匹配规则、请求参数获取、参数校验与中间件执行顺序,说明统一响应、JWT鉴权、文件上传与接口文档生成的落地方式,并补充优雅重启与测试实践。

2026.11.17

0

15

GoFrame框架安装与gf命令行工具
GoFrame框架安装与gf命令行工具

本专题围绕GoFrame框架的安装与工具链配置展开,讲清Go版本要求、gf命令行的安装方式、代理镜像与依赖准备,说明项目初始化、热编译、交叉编译打包的做法,并整理安装阶段的常见报错与验证步骤。

2026.11.17

20

15

GoFrame框架零基础入门
GoFrame框架零基础入门

本专题整理GoFrame框架的入门知识,从模块化设计理念、环境准备到跑通第一个Web服务,讲清目录分层、配置加载、日志与中间件的用法,并对比Gin、Go-Zero的差异,帮助Go开发者建立整体认知。

2026.11.17

0

15

SQLAlchemy 一对多关系怎么建立
SQLAlchemy 一对多关系怎么建立

SQLAlchemy 一对多关系怎么建立?本专题整理父子表外键、relationship 双向映射、关联查询、级联删除和加载优化等相关文章,帮助你理解并实现常见的 ORM 关系建模。

2026.11.17

0

10

SQLAlchemy 如何增删改查
SQLAlchemy 如何增删改查

SQLAlchemy 如何增删改查?本专题整理 ORM 新增记录、条件查询、更新和删除、Session 事务提交与批量处理等实用文章,帮助你掌握 Python 数据库操作流程。

2026.11.17

0

11

SQLAlchemy ORM 模型怎么写
SQLAlchemy ORM 模型怎么写

SQLAlchemy ORM 模型怎么写?本专题整理模型类定义、Mapped 字段映射、主键与约束、表结构创建和常见报错的相关文章,帮助你从基础配置到实际建模逐步掌握 SQLAlchemy。

2026.11.17

0

16

Go-Zero API开发使用教程
Go-Zero API开发使用教程

本专题聚焦Go-Zero的API开发,拆解.api描述文件的语法结构、路由与分组定义、参数绑定与校验规则,说明统一响应体、JWT鉴权、跨域与接口文档生成的落地方式,并给出网关聚合与接口测试的实践建议。

2026.11.12

180

15

Go-Zero安装与goctl环境配置教程
Go-Zero安装与goctl环境配置教程

本专题围绕Go-Zero的安装与工具链配置展开,讲清Go版本要求、goctl安装方式、代理镜像、protoc依赖与环境变量设置,说明多版本共存、升级回退与CI流水线安装的做法,并整理安装阶段的常见报错与验证步骤。

2026.11.12

120

15

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
phpStudy极速入门视频教程
phpStudy极速入门视频教程

共6课时 | 54.7万人学习

独孤九贱(4)_PHP视频教程
独孤九贱(4)_PHP视频教程

共89课时 | 134.3万人学习