Python3中如何使用Requests库实现断点续传下载大容量压缩包?

秋敏吖_4298

秋敏吖_4298

2026-11-18

415人浏览

原创

Requests通过手动添加Range请求头实现断点续传:先用HEAD获取文件总大小和Accept-Ranges支持情况,再以'ab'模式打开文件,根据os.path.getsize()确定起始偏移,发送headers={'Range': 'bytes=-'}请求,严格校验响应状态码为206 Partial Content后流式写入,下载完成后需校验哈希或解压完整性。

python3中如何使用requests库实现断点续传下载大容量压缩包?

Requests如何发送带Range头的续传请求

断点续传的核心是让服务器只返回文件的一部分,而不是重头下载。Requests本身不自动管理断点,但支持手动加Range请求头。关键在于:你得自己记录已下载字节位置,并在下次请求时带上headers={'Range': 'bytes=1024000-'} (注意末尾不写上限,表示“从1024000到结尾”)。

常见错误是写成Range: bytes=1024000-2048000却没校验服务器是否返回206 Partial Content——如果服务器不支持断点(比如Nginx未开启enable_ranges on),它会直接忽略Range并返回200 OK和完整文件,导致重复写入、文件损坏。

  • 务必检查响应状态码:r.status_code == 206才是成功续传;200意味着服务端不支持,需清空临时文件重新下
  • Range值必须是字节偏移量(整数),不是行号或块号;用os.path.getsize()获取本地已存大小即可作为起始偏移
  • 不要依赖Content-Range响应头里的总长度来判断文件是否下完——有些CDN或代理会省略该头,稳妥做法是比对Content-Length与预估总大小(首次请求HEAD拿到Content-Length)

如何安全地追加写入临时文件

不能用'w'模式打开文件,否则每次都会覆盖。必须用'ab'(append binary)模式,且要在open()前确认文件存在且大小匹配预期偏移量——否则可能是上次中断残留的脏数据。

实操中容易踩的坑是:没做文件大小校验就直接seek()或truncate()。比如本地已有1.2MB,但Range头却设为bytes=1.5MB-,这时直接追加写会导致中间空白字节,解压时报“invalid compressed data”。

  • 先用os.path.getsize(filename)得到当前大小,与Range起始值严格相等才继续;不等就删掉重来
  • 写入时别用r.content——它会把整个响应体加载进内存,大文件易OOM;改用r.iter_content(chunk_size=8192)流式写入
  • 写完每一块后调用f.flush(),必要时加os.fsync(f.fileno())确保落盘,避免断电丢数据

如何处理压缩包校验与完整性验证

下载完成不等于能用。大容量压缩包(如.zip、.tar.gz)对字节错敏极高,少一个字节就无法解压。Requests不提供内置校验,你得自己加。

Camoufox Open Source Anti-Detect Browser for Python Automation
Camoufox Open Source Anti-Detect Browser for Python Automation

Camoufox 是一个基于 Firefox 构建的开源反检测浏览器,为 Python 自动化工作流程提供强大的指纹注入和反机器人检测规避功能。它与 Playwright 集成,以提供能够绕过现代机器人检测系统的隐身浏览能力。

下载

最实用的做法是:下载前通过HEAD请求拿到Content-MD5或ETag(如果服务端提供了),下载完用hashlib.md5()重新计算本地文件哈希对比。没有服务端哈希?那就只能靠文件大小+解压预检。

  • 用subprocess.run(['unzip', '-t', filename], capture_output=True)快速测试ZIP完整性(Linux/macOS);Windows可用7z t
  • 别跳过校验直接解压——有些损坏的ZIP会静默跳过坏块,导致解出残缺文件
  • 如果服务端支持Accept-Ranges: bytes但没提供ETag,建议下载完成后用requests.head(url)再比对一次Content-Length,防止服务端中途变更文件

为什么不能直接用Session或retry机制接管续传逻辑

Requests的Session对象不会自动记住上次下载位置,Retry策略也只管网络错误重试,不管HTTP 206逻辑。有人试图用stream=True + iter_content配合异常捕获来做“自动续传”,结果发现连接中断后无法恢复——因为iter_content内部的socket已经关闭,Response对象不可重用。

真正可靠的续传必须是显式控制:每次都是独立的GET请求,带正确Range头,独立打开文件,独立校验。封装成函数时,参数至少要包含url、filename、offset(当前偏移)、total_size(总大小,首次HEAD获得)。

  • 别在循环里反复创建Session——复用它能复用连接,但别指望它帮你记offset
  • 超时设置要分开:timeout=(3.05, 27)(connect短,read长),避免因网速慢被误判超时
  • 遇到ConnectionError或Timeout,直接退出当前请求,用当前文件大小作为下次offset重试,不要尝试“接着读”

实际跑起来你会发现,最难的不是发请求,而是判断“现在到底该从哪开始”以及“怎么确认真的下完了”。服务端行为不一致、磁盘空间突然不足、杀进程没flush——这些细节比代码逻辑更常导致失败。

Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

python python3

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

2023.07.20

1951

4

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

2023.07.25

5524

7

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.31

1889

3

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

2023.08.03

33737

23

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

3967

5

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

3967

5

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

1283

5

python合并两个列表
python合并两个列表

Python是一种强大的编程语言,具有许多方便的功能和工具。在Python中,有多种方法可以合并两个列表。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.10

636

4

python是前端还是后端
python是前端还是后端

Python属于前端也属于后端,其灵活性和丰富的生态系统使得开发人员能够在不同的领域中灵活运用。本专题为大家提供python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

3063

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程