Python爬虫怎么应对爬取封禁_更换出口公网IP或使用代理通道-Python教程-PHP中文网

被封IP时requests典型表现为连接超时或ConnectionResetError，而非403；需检查response.text含验证码关键词或Location头，根本原因是出口IP入黑名单，换UA或sleep无效。

python爬虫怎么应对爬取封禁_更换出口公网ip或使用代理通道

被封 IP 时 `requests` 直接报错的典型表现

最常见的不是 403，而是连接超时或 ConnectionResetError，尤其在高频请求后突然卡住几秒再失败；有些站点会返回 200 但 HTML 里塞满验证码或跳转到风控页——这时 response.status_code 毫无意义，得看 response.text 里有没有 "verify"、"captcha" 或跳转 meta http-equiv="refresh" 标签。

根本原因不是“被识别为爬虫”，而是出口 IP 被记录并加入黑名单。单靠换 User-Agent 或加 time.sleep() 基本无效。

别依赖状态码判断是否被封，优先检查响应体内容和重定向头 response.headers.get("Location")
本地调试时用 curl -v http://example.com 对比原始响应，确认是不是服务端主动断连
如果用的是家庭宽带，重启光猫确实能换 IP，但运营商分配的是 NAT 共享池，新 IP 很可能刚被别人用废过

用 `requests` 接代理必须设对这三处参数

很多人只写 proxies={"http": "http://user:pass@host:port"}，漏掉 HTTPS 代理，结果 HTTPS 请求直连被封；或者没关 SSL 验证，代理链路上证书不匹配直接抛异常。

HTTP 和 HTTPS 代理必须**分开指定**：{"http": "http://...", "https": "http://..."}（注意：即使代理协议是 https，这里也填 http://，除非代理本身支持 https 协议）
务必加 verify=False（配合 import urllib3; urllib3.disable_warnings()），否则自签名代理证书会中断请求
代理认证若含特殊字符（如 @、/），必须用 urllib.parse.quote() 编码用户名和密码，否则 URL 解析失败

import requests
from urllib.parse import quote

user = quote("my@user")
pwd = quote("p@ss/wd")
proxy_url = f"http://{user}:{pwd}@192.168.1.100:8080"
resp = requests.get("https://httpbin.org/ip", 
                   proxies={"http": proxy_url, "https": proxy_url},
                   verify=False)

免费代理基本不能用，但商用代理也有明显坑点

免费代理列表网站给的 IP 大多是 HTTP 透明代理，响应头带 X-Forwarded-For，目标站一查就暴露真实出口；商用代理看似稳定，但要注意“动态轮换”是否真轮换——有些套餐标称“每分钟换 IP”，实际是客户端 IP 不变，只是代理网关做后端轮询，源头 IP 还是固定的。

Python Hardener

通过完整的安全审查、代码整洁重构、健壮的错误处理、正确的日志记录以及完整的文档字符串覆盖，强化 Python 脚本。

下载

测试代理是否匿名：请求 https://httpbin.org/ip，看返回的 IP 是否和代理 IP 一致；再请求 https://httpbin.org/headers，检查有没有泄露 X-Real-IP 或 X-Forwarded-For
高并发场景下，别共用一个代理账号——很多代理服务商按并发数限流，超了就降速或断连，表现就是请求随机超时
HTTPS 代理必须支持 CONNECT 方法，否则无法建立隧道，requests 会静默回退到直连