Python自动化下载网站压缩包_urllib模块实现下载自动化-Python教程-PHP中文网

应避免使用urlretrieve，改用urlopen+手动写文件，并设置timeout、user-agent、cookie等；下载后需校验文件完整性，优先用zipfile.is_zipfile()或md5比对。

python自动化下载网站压缩包_urllib模块实现下载自动化

urllib.request.urlretrieve 下载中断或返回空文件

用 urlretrieve 下载压缩包时，常见现象是文件大小为 0 字节，或者下载到一半就停住，但不报错。这通常不是代码写错了，而是服务器返回了 302 重定向、需要 User-Agent、或响应头里 Content-Length 缺失导致 urlretrieve 误判结束位置。

加 headers={'User-Agent': 'Mozilla/5.0'} 再封装成 Request 对象，用 urlopen + 手动写文件替代 urlretrieve
别依赖 urlretrieve 的自动进度回调——它在重定向后可能失效，且对 chunked transfer 编码支持差
下载前先 HEAD 请求检查 Content-Length 和 Content-Type，确认是 application/zip 或 application/x-tar 类型再继续

用 urllib 发起带 Cookie 或登录态的下载请求

很多网站的压缩包链接需要登录后才能访问，直接传 URL 给 urlretrieve 会 403 或跳转到登录页。urllib 本身不维护会话，必须手动管理 cookie。

先用浏览器或 curl -v 抓出有效请求的 Cookie 头（比如 sessionid=abc123），硬编码进 headers 是最快验证方式
真要模拟登录，得用 HTTPCookieProcessor 搭配 build_opener，但注意：cookie 不会自动随重定向携带，需设 redirect_handler = HTTPRedirectHandler() 并确保 opener 支持
避免把整个 Set-Cookie 响应头原样塞进请求——只取 name=value 部分，多余属性（如 Path=, Expires=）会导致 400

大压缩包下载中如何判断是否卡死或超时

urlopen 默认无读取超时，遇到网络抖动或服务端慢响应，程序可能挂住几分钟不动。尤其在自动化脚本里，不能靠人盯。

python学习

Python 编程学习助手 skill，面向零基础用户。当用户表达以下意图时触发： - 学习 Python 基础概念（变量、数据类型、循环、函数、类等） - 请求 Python 练习题或测验 - 请求审查或调试 Python 代码 - 请求 Python 项目实战指导（爬虫、数据分析、Web 开发等入门项目） - 泛化表述如"教我 Python""我想学编程""Python 怎么写""帮我学 Python" 此 skill

下载

必须显式传 timeout=30 给 urlopen（单位秒），这个值是连接 + 读取总时长，不是分开的
下载循环里用 response.read(8192) 分块读，每次读完立刻检查 len(chunk)，连续两次读到 0 且 response.isclosed() 为 False，大概率是服务端断连
别用 time.time() 自己计时——urllib 的 timeout 机制更可靠，自己计时容易和 socket 层行为错位

下载完成后校验压缩包是否完整可用

下载完的 .zip 或 .tar.gz 文件，光看大小匹配不够——网络传输中偶尔会静默损坏，解压时报 BadZipFile 或 TruncatedHeaderError 才发现白忙活。

优先用 zipfile.is_zipfile(path) 或 tarfile.is_tarfile(path) 快速探活，比直接 ZipFile.open() 更轻量
如果服务器提供了 Content-MD5 或 ETag 响应头，下载后算 MD5 对比，比文件大小靠谱得多
解压校验别用 subprocess.run(['unzip', '-t'])——跨平台麻烦，且依赖系统命令；用 zipfile.ZipFile().testzip() 更直接，返回 None 表示没问题