Python怎么从URL地址直接下载并保存文件到本地_使用urllib.request模块-Python教程-PHP中文网

urllib.request.urlretrieve 最快搞定小文件下载，一行代码自动处理请求与保存，但不支持请求头、超时、断点续传；目录需预先存在，url 必须完整可访问。

python怎么从url地址直接下载并保存文件到本地_使用urllib.request模块

用 `urllib.request.urlretrieve` 最快搞定小文件

如果只是想快速下载一个图片、PDF 或小文本文件，urlretrieve 是最直接的选择。它自动处理 HTTP 请求、状态码检查（基础层面）和本地写入，一行代码就能跑通。

常见错误现象：URLError: <urlopen error nodename nor servname provided or not known></urlopen> —— 多半是 URL 拼错了，比如漏了 https:// 前缀；或者域名根本无法解析。

确保 URL 完整且可访问（建议先在浏览器里打开试试）
目标路径支持相对或绝对路径，但目录必须已存在，否则会报 OSError: No such file or directory
不自动创建父目录，需提前用 os.makedirs(os.path.dirname(path), exist_ok=True)
不支持断点续传、超时控制或自定义请求头（比如绕过反爬），大文件或受限站点慎用

import urllib.request
urllib.request.urlretrieve('https://example.com/data.csv', 'download/data.csv')

用 `urllib.request.urlopen` + 手动写入更可控

当需要处理重定向、检查响应状态、加请求头、设超时，或边下载边显示进度时，得自己管理响应流。这是生产环境更稳妥的做法。

使用场景：下载 ZIP 包、API 返回的二进制数据、需要校验 Content-Length 或 Content-Type 的情况。

务必用 with 语句打开响应对象，避免连接泄漏
二进制内容（如图片、PDF）必须用 'wb' 模式写入，用 'w' 会报 TypeError: a bytes-like object is required
response.getcode() 检查 HTTP 状态码，200 才安全写入；3xx 可能已重定向，4xx/5xx 需按需处理
超时建议显式设置，否则默认可能卡死：urlopen(url, timeout=30)

import urllib.request
url = 'https://httpbin.org/image/jpeg'
with urllib.request.urlopen(url, timeout=15) as response:
    if response.getcode() == 200:
        with open('photo.jpg', 'wb') as f:
            f.write(response.read())
    else:
        print(f'HTTP {response.getcode()} error')

遇到 403 Forbidden 怎么办？加 User-Agent 是基本操作

很多网站默认屏蔽 urllib 的请求头，返回 HTTP Error 403: Forbidden。这不是权限问题，而是服务端拒绝了“空 User-Agent”的爬虫特征。

python-parallelization

将顺序 Python 代码转换为并行/并发实现，用于在需要并行化 Python 代码、提升性能时使用。

下载

参数差异：原生 urlopen 不接受 headers 参数，必须构造 Request 对象。

不能直接传字典给 urlopen，必须用 urllib.request.Request
User-Agent 值不必完全模仿 Chrome，但不能为空；常见值如 Mozilla/5.0 (Windows NT 10.0; Win64; x64) 即可
部分站点还校验 Accept 或 Referer，失败时可逐个补上
注意：加了 UA 也不代表能绕过登录墙或频率限制

import urllib.request
req = urllib.request.Request(
    'https://example.com/file.zip',
    headers={'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64)'}
)
with urllib.request.urlopen(req, timeout=30) as response:
    with open('file.zip', 'wb') as f:
        f.write(response.read())

大文件下载别一次性 `read()`，用循环分块读取

对几百 MB 以上的文件，直接调 response.read() 会把整个内容加载进内存，极易触发 MemoryError 或拖慢系统。必须流式读取。

性能影响：分块大小不是越小越好。太小（如 1KB）导致 I/O 调用过多；太大（如 100MB）又失去流控意义。一般 8KB–1MB 较平衡。

用 iter(lambda: response.read(8192), b'') 或传统 while 循环均可
写入前可选做简单进度提示，比如按块数或累计字节数打印
注意：某些服务器不返回 Content-Length，无法预估总大小，进度条只能靠块数粗略估算

import urllib.request
with urllib.request.urlopen('https://large-file.bin') as response:
    with open('large.bin', 'wb') as f:
        while True:
            chunk = response.read(65536)  # 64KB per chunk
            if not chunk:
                break
            f.write(chunk)

实际项目中，真正麻烦的往往不是下载本身，而是 URL 是否稳定、响应是否被 CDN 缓存、服务端是否校验 Referer 或签名，以及下载中断后如何恢复——这些 urllib.request 都不内置支持。