如何解决Python爬虫遇到IP被封锁后手动更换代理的繁琐问题_接入API自动提取代理-Python教程-PHP中文网

真正要做的，是让爬虫在检测到403、connectionreseterror或响应含“访问被拒绝”时自动换代理重试；需串联代理获取、验证、轮换与降级全链路，并预加载+后台刷新以避免api延迟拖慢吞吐。

如何解决python爬虫遇到ip被封锁后手动更换代理的繁琐问题_接入api自动提取代理

手动换代理不是解决办法，是临时止痛；真正要做的，是让爬虫在检测到 403、ConnectionResetError 或响应内容含 “访问被拒绝” 时，自动触发新代理获取并重试——这需要把代理获取、验证、轮换、失败降级全链路串起来。

不同代理服务商（如快代理、芝麻代理、讯代理）的 API 返回结构差异很大，有的直接返回 ip:port 字符串，有的返回 JSON 包含 proxy、expire_time、speed 等字段。不提前解析清楚，后续根本没法用。

用 curl 或 requests.get() 直接调一次 API，打印 response.json() 看原始结构
检查是否需带 Authorization header 或 token query 参数，漏掉就返回 {"code":401,"msg":"invalid token"}
注意频率限制：多数免费/低价套餐限每分钟 5–10 次请求，别在重试循环里无节制调用

API 返回的代理可能已失效、被目标站拉黑、或仅支持 HTTP 不支持 HTTPS——直接塞进 requests.Session().proxies 会导致后续所有请求卡死或报 ProxyError。

扫描并分析已安装技能，用于查看指定技能目录的名称、描述和详情，或列出所有已安装的技能。

下载

很多人写个全局 current_proxy 变量，出错就换一个——这会导致并发请求互相覆盖，线程不安全，且无法区分是网络抖动还是代理失效。

把代理作为请求级参数传入，例如 requests.get(url, proxies={"https": proxy_str}, timeout=10)
封装一个 fetch_with_retry(url, max_retries=3) 函数，在每次重试前从代理池取一个新代理（用 queue.Queue 或 itertools.cycle + 锁）
捕获具体异常：requests.exceptions.ProxyError、requests.exceptions.ConnectTimeout、requests.exceptions.ReadTimeout 才触发换代理；HTTPError 且 status=404 则不用换

跑着跑着发现代理池空了，或者连续 5 个代理都验证失败——这时候硬等新 API 返回只会让任务卡死。

设置代理池最小保有量（如 3 个），低于阈值就异步调用 API 补充，但不阻塞当前请求
引入本地备用方案：比如用 rotating-user-agents + time.sleep(random.uniform(1,3)) 降低请求密度，撑到代理恢复
记录失效代理的 IP 和错误类型到日志文件，方便后续分析是服务商问题还是自己调用过频

最常被忽略的一点：代理 API 的响应延迟本身可能高达 800ms，如果每次请求前都同步调一次 API，吞吐量直接腰斩。真正的做法是预加载 + 后台刷新，让代理永远“比请求快半步”。