某些网站（如 whatismyipaddress.com）会检测并拦截缺少合法浏览器特征的请求，导致仅返回调试型响应头而非真实页面内容；添加模拟真实浏览器的请求头（尤其是 user-agent）可有效绕过该限制。
某些网站（如 whatismyipaddress.com）会检测并拦截缺少合法浏览器特征的请求，导致仅返回调试型响应头而非真实页面内容；添加模拟真实浏览器的请求头（尤其是 user-agent）可有效绕过该限制。
在使用 requests 库配合代理（proxy）爬取网页时，看似相同的代码对不同目标站点可能产生截然不同的响应——例如能正常获取 Google 首页 HTML，却对 whatismyipaddress.com 仅返回一串环境变量式响应头（如 REMOTE_ADDR、HTTP_USER-AGENT 等）。这并非代理失效或 requests 异常，而是目标网站主动实施的反自动化访问策略：它识别出请求中缺失关键浏览器标识，判定为非真实用户行为，转而返回诊断信息而非实际页面。
根本原因在于：requests 默认的 User-Agent 是 python-requests/x.x.x，极易被服务器识别为爬虫或脚本工具。许多安全敏感或 IP 检测类网站（如 IP 查询、地理定位服务）会主动拒绝此类请求，并以“伪响应”形式返回服务端调试头信息——这正是你看到 HTTP_HOST、REQUEST_URI 等字段的原因。
✅ 正确做法是显式构造符合主流浏览器特征的请求头。以下为推荐配置：
import requests
proxies = {
'http': 'http://3.127.121.101:80',
'https': 'http://3.127.121.101:80'
}
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36',
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,*/*;q=0.8',
'Accept-Language': 'en-US,en;q=0.9',
'Accept-Encoding': 'gzip, deflate',
'Connection': 'keep-alive',
'Upgrade-Insecure-Requests': '1',
}
response = requests.get(
"https://whatismyipaddress.com/",
proxies=proxies,
headers=headers,
verify=False, # ⚠️ 仅测试用；生产环境应保留证书验证（移除 verify=False 或指定 cert）
timeout=10
)
print(response.status_code)
print(response.text[:500] + "..." if len(response.text) > 500 else response.text)
? 关键注意事项：
- 代理协议前缀必须正确：
'http'和'https'键对应的是请求协议类型，其值应为完整代理 URL（如'http://ip:port'），而非'http://'这种错误写法（原问题中'http://'键是无效的，会导致代理未生效）； -
verify=False会禁用 SSL 证书校验，虽便于调试，但存在中间人攻击风险，正式项目中应通过requests.adapters.HTTPAdapter配置可信 CA 或使用certifi； - 若仍失败，可进一步检查是否触发了更严格的防护（如 Cloudflare），此时需考虑使用
selenium或playwright等无头浏览器方案； - 建议为每个请求设置
timeout，避免因代理延迟导致程序长时间挂起。
综上，该问题本质是服务端的客户端指纹识别机制，而非网络或库缺陷。通过精细化构造请求头，即可稳定获取目标页面的真实响应内容。
