HTTP 请求失败：RemoteDisconnected 错误的根源与解决方案-Python教程-PHP中文网

HTTP 请求失败：RemoteDisconnected 错误的根源与解决方案

使用 requests 库访问某些网站（如 apps.hcr.ny.gov）时出现 ConnectionError: Remote end closed connection without response，通常并非网络或超时问题，而是因目标服务器（IIS/10.0）严格区分 HTTP 头字段大小写，尤其要求 User-Agent 必须首字母大写。

使用 `requests` 库访问某些网站（如 `apps.hcr.ny.gov`）时出现 `connectionerror: remote end closed connection without response`，通常并非网络或超时问题，而是因目标服务器（iis/10.0）严格区分 http 头字段大小写，尤其要求 `user-agent` 必须首字母大写。

该错误看似是连接中断，实则是服务器在解析请求头时因不合规而直接关闭连接——违反了 RFC 7230 关于 HTTP 头名应不区分大小写的规范。但现实中，部分老旧或配置严格的 Microsoft IIS 服务器（如本例中的 IIS/10.0）会强制校验 User-Agent 的拼写格式，仅接受首字母大写的 User-Agent，而拒绝小写的 user-agent。

✅ 正确做法：严格遵循服务器“非标准”要求

在代码中，必须确保关键请求头（尤其是 User-Agent）使用标准驼峰命名格式（即 User-Agent），而非任意小写变体。同时，避免重复设置 headers：Session.get() 会自动合并 session.headers 与传入的 headers 参数，若两者冲突，后者优先，易引发意外覆盖。

以下是修复后的推荐写法：

import requests

link = 'https://apps.hcr.ny.gov/BuildingSearch/'

# ✅ 关键：User-Agent 首字母必须大写；其他 header 名也建议标准化（如 Accept、Referer）
headers = {
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
    'Accept-Language': 'en-US,en;q=0.9',
    'Host': 'apps.hcr.ny.gov',  # 注意：requests 会自动填充 Host，显式设置需谨慎
    'Origin': 'https://apps.hcr.ny.gov',
    'Referer': 'https://apps.hcr.ny.gov/BuildingSearch/',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36'
}

with requests.Session() as s:
    s.headers.update(headers)  # 设置默认 headers
    try:
        res = s.get(link, timeout=10)  # ✅ 不再传入 headers 参数，避免重复/覆盖
        res.raise_for_status()  # 自动检查 4xx/5xx 状态码
        print(f"Success! Status code: {res.status_code}")
        print(f"Content length: {len(res.text)}")
    except requests.exceptions.RequestException as e:
        print(f"Request failed: {type(e).__name__} - {e}")

⚠️ 注意事项与最佳实践

不要手动设置 Host 头：requests 会根据 URL 自动构造 Host，显式设置可能触发 IIS 的安全策略或导致域名校验失败。
启用超时机制：始终添加 timeout= 参数（如 timeout=10），防止请求无限挂起。
避免 headers 冗余传递：Session.get(url, headers=...) 中的 headers 会完全覆盖 session.headers，而非合并。应统一通过 session.headers.update() 设置，调用时保持参数简洁。
验证响应内容：即使状态码为 200，也建议检查 res.headers.get('content-type') 或 res.text[:200]，确认返回的是 HTML 而非重定向、JS 渲染页或反爬拦截页。
进阶应对方案：若仍失败，可尝试添加 verify=False（仅测试环境）、更换代理、或使用 selenium / playwright 模拟真实浏览器行为（适用于 JS 渲染或复杂风控场景）。