Python 压缩算法在不同数据上的实测对比

风丽酱_8745

风丽酱_8745

2026-02-16

572人浏览

原创

zlib压缩比最高但最慢,lz4最快但压缩比仅zstd的60%~70%,zstd level=3为速度与压缩率最佳平衡点;实际选择需依数据重复度、CPU容忍度及流式需求而定。

python 压缩算法在不同数据上的实测对比

zlib、lz4、zstd 压缩比和速度到底差多少

实测下来,zlib(默认级别)在文本类数据上压缩比最高,但慢;lz4 极快,但压缩比常只有 zstd 的 60%~70%;zstd 在中等压缩级别(level=3)就基本能兼顾速度和压缩率,是多数场景的实用平衡点。

关键不是“哪个最强”,而是你手上的数据是否重复度高、是否允许 CPU 占用、是否需要流式解压。比如日志文件(大量重复字段)用 zstd 级别 10 可能比 zlib 级别 9 还快,而传感器采集的二进制浮点数组,lz4 反而更稳——因为 zlib 和 zstd 都可能因数据熵高而退化成“几乎不压缩+额外开销”。

  • zlib 对小块数据(
  • lz4 不支持压缩级别调节(只有 lz4.frame 模式可设 compression_level,但实际影响极小)
  • zstd 的 level=1 比 lz4 慢一点,但压缩率明显更好;level=3 是它真正的甜点区

Python 里怎么安全地选压缩库和参数

别直接写 import zlib 就开干。先看你的数据特征:是否可预测长度?是否要随机访问?是否跨语言交互?

zlib 兼容性最好(HTTP、gzip、PNG 都用它),但没多线程压缩;lz4 支持多线程压缩(lz4.frame.compress(data, compression_level=0, threads=4)),适合大文件批处理;zstd 的 ZstdCompressor(level=3, threads=0) 默认单线程,设 threads>1 才启用并行分块,但要注意:线程数不是越多越好,超过物理核数反而因调度开销变慢。

  • 如果数据要被 Go 或 Rust 程序读取,优先选 zstd 或 zlib,lz4 的 Python 绑定(lz4 包)和 C 版本帧格式不完全一致,容易解不出
  • 用 zstd 时,别漏掉 write_content_size=True(否则解压端无法校验长度)
  • zlib.compress(data, level=-1) 不是“自动选最优”,而是等价于 level=Z_DEFAULT_COMPRESSION(通常是 6),别被文档误导

为什么有时候压缩后反而更大了

这不是 bug,是所有通用压缩算法的固有行为:低熵数据(比如已加密内容、高位随机字节、全零但长度很短)会触发压缩器的“最小输出长度”保护机制,导致加了头部却没省下多少字节。

Define repeatable Python automation sessions in code with nox
Define repeatable Python automation sessions in code with nox

将测试、lint、构建和文档流程编码为命名的Python会话,以便人类和代理每次运行相同的workflow。

下载

典型表现:len(zlib.compress(b'\x00' * 10)) == 18,而原始才 10 字节;zstd 更明显,ZstdCompressor().compress(b'\x01') 输出至少 15 字节。

  • 对确定小于 1KB 的数据,建议加个开关:先试算原始大小,if len(data) ,避免负优化
  • lz4 的 lz4.block.compress() 有 store_size=False 参数可省去长度头,但解压时必须传入原始长度,适用场景有限
  • 别用压缩算法当“通用去重工具”——它不保证相同输入一定产生相同输出(比如 zstd 启用哈希加速后会有微小差异)

实测时最容易被忽略的细节

很多人跑个 timeit 就下结论,但真实瓶颈常不在压缩函数本身:内存拷贝、GIL 争抢、序列化前置成本(比如先把 dict 转 json 再压),都可能掩盖算法差异。

建议用 tracemalloc + time.perf_counter() 分开测三段:序列化耗时、压缩耗时、总内存峰值。你会发现:对一个 10MB 的 dict,json.dumps() 耗时可能是 zstd.compress() 的 2 倍以上。

  • 测试前务必用 gc.disable(),否则 zlib 在大块压缩时可能触发 GC,拉高时间抖动
  • zstd 的 compress() 接口默认返回 bytes,但如果你后续还要拼接或切片,考虑用 Compressor().compressobj() 流式接口,减少中间内存分配
  • 别信 PyPI 包名带 fast 的轮子——python-lz4 和 zstandard 才是真正调 C 实现的;pure-python-zstd 这类纯 Python 实现,速度差一个数量级

Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

python

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
页面置换算法
页面置换算法

页面置换算法是操作系统中用来决定在内存中哪些页面应该被换出以便为新的页面提供空间的算法。本专题为大家提供页面置换算法的相关文章,大家可以免费体验。

2023.08.14

7436

4

传感器故障解决方法
传感器故障解决方法

传感器故障排除指南:识别故障症状(如误读或错误代码)。检查电源和连接(确保连接牢固,无损坏)。校准传感器(遵循制造商说明)。诊断内部故障(目视检查、信号测试、环境影响评估)。更换传感器(选择相同规格,遵循安装说明)。验证修复(检查信号准确性,监测异常行为)。

2024.06.04

5164

7

Navicat创建数据库教程
Navicat创建数据库教程

本专题整理Navicat创建数据库相关教程,介绍新建前的准备、基础设置和创建后的检查方法。内容兼顾入门学习及实际使用需求,帮助用户了解不同数据库类型下的操作差异,为后续建表、保存数据和日常管理提供参考。

2026.11.20

0

7

Navicat入门教程大全
Navicat入门教程大全

本专题整理Navicat入门教程,从认识软件界面到开展数据库操作,介绍初次使用需要了解的知识和方法。内容兼顾连接配置、数据管理及日常使用中的疑问,方便用户按学习进度查阅,为后续实践和独立操作打好基础。

2026.11.20

0

17

Navicat数据库连接配置指南
Navicat数据库连接配置指南

从确认数据库信息到建立可用连接,本专题串联Navicat连接数据库的相关知识和操作方法。既有初次配置时需要了解的基础内容,也有连接后的检查思路,方便用户按实际需求查阅教程,逐步熟悉数据库连接的设置流程。

2026.11.20

0

10

PHP8.6数组与数据处理教程
PHP8.6数组与数据处理教程

本专题汇总PHP8.6数组与数据处理教程,涵盖CSV读取和导出、引用遍历删除、array_filter回调模式、配置键名冲突、pathinfo文件名校验、GMP大整数进制转换及UTF-8正则筛选,说明升级兼容变化、输入范围和失败处理方法。

2026.11.20

0

8

PHP8.6升级迁移教程
PHP8.6升级迁移教程

本专题汇总PHP8.6升级迁移与弃用接口改造教程,涵盖反射调用、对象属性赋值、标识符更名、构造函数与__debugInfo调整,以及插件类名检查、常量导出、ArrayIterator排序、SPL和DTO查询参数转换,帮助梳理弃用提示并完成代码兼容改造。

2026.11.20

0

10

PHP8.6安装配置与FPM运维教程
PHP8.6安装配置与FPM运维教程

本专题汇总PHP8.6正式版安装部署与FPM运维教程,涵盖Linux并存安装、独立ini配置、扩展重新编译、Nginx切换与回滚、FPM状态监控和慢日志排查,以及环境变量、请求超时、OPcache刷新和预加载配置。

2026.11.20

0

10

Nginx CVE-2026-123007排查与防护指南
Nginx CVE-2026-123007排查与防护指南

Nginx HTTP/2漏洞该怎么修复?本专题围绕CVE-2026-123007,介绍安全版本升级、模块兼容检查和配置恢复方法,以及日志排查、权限设置等后续加固操作,方便你按实际部署情况查找对应教程。

2026.11.20

20

8

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程