本文详解如何在 Selenium 中正确调用 fetch 发起带自定义头、支持代理、可同步获取响应（含 JSON）的 HTTP 请求，重点解决 Promise 异步返回捕获、代理配置失效、跨域限制及 Cookie 自动携带等实战痛点。

本文详解如何在 selenium 中正确调用 fetch 发起带自定义头、支持代理、可同步获取响应（含 json）的 http 请求，重点解决 promise 异步返回捕获、代理配置失效、跨域限制及 cookie 自动携带等实战痛点。

Selenium 原生不提供 driver.post() 或 driver.request() 类接口——它本质是浏览器操作协议（WebDriver）的封装，而非 HTTP 客户端。但真实测试场景中，我们常需绕过 UI 按钮，直接以当前登录态（含 Cookie、Token、SameSite 会话）发起 POST/GET 请求，例如：批量预埋测试数据、验证接口幂等性、调试前端未暴露的异步 API。此时，在浏览器上下文中执行 fetch 并桥接回 Python，是最自然、最安全的方案。

✅ 正确姿势：execute_async_script + 回调收口

execute_script 无法等待 Promise，返回值恒为 None；而 execute_async_script 显式支持异步脚本执行，并通过 arguments[arguments.length - 1] 接收回调函数，确保 JavaScript 执行完毕后将结果“推回”Python：

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

proxy_url = "127.0.0.1:8888"
chrome_options = Options()
chrome_options.add_argument(f"--proxy-server={proxy_url}")
chrome_options.add_argument("--ignore-certificate-errors")
# 关键：启用 CORS（若目标跨域且服务端未开）——仅开发/测试环境使用
chrome_options.add_argument("--disable-web-security")
chrome_options.add_argument("--user-data-dir=/tmp/selenium_dev_profile")

driver = webdriver.Chrome(options=chrome_options)
driver.get("https://myhttpheader.com/")

# ✅ 正确：使用 execute_async_script + 显式 callback
response_text = driver.execute_async_script("""
  const callback = arguments[arguments.length - 1];
  const url = arguments[0];
  const options = arguments[1];

  fetch(url, options)
    .then(res => {
      if (!res.ok) throw new Error(`HTTP ${res.status} ${res.statusText}`);
      return res.text(); // 或 res.json()（需确保响应为合法 JSON）
    })
    .then(data => callback(data))
    .catch(err => callback({ error: err.message }));
""", 
"https://myhttpheader.com/", 
{
  "method": "GET",
  "headers": {
    "Accept": "*/*",
    "Accept-Language": "zh-CN,zh;q=0.9,en-US;q=0.8,en;q=0.7",
    "Cache-Control": "no-cache",
    "Origin": "https://myhttpheader.com",
    "Pragma": "no-cache",
    "Referer": "https://myhttpheader.com/",
    "CUSTOM_HEADER_1": "value_1",
    "CUSTOM_HEADER_2": "value_2"
  }
})

print("Fetch response:", response_text)
driver.quit()

⚠️ 注意：execute_async_script 的 超时默认为 30 秒（可通过 driver.set_script_timeout(60) 调整），若请求卡死，Python 将抛出 TimeoutException。

? 为什么你的代理没生效？关键配置项补全

你代码中代理未生效，常见原因如下：

问题	说明	解决方案
❌ --proxy-server 未生效	Chrome 启动时若已存在用户数据目录（如默认 profile），可能忽略代理参数	添加 --user-data-dir 指向空目录，或使用 --incognito（推荐测试环境）
❌ HTTPS 代理拦截失败	--proxy-server 仅代理 HTTP；HTTPS 流量需额外配置证书或使用 --proxy-bypass-list	若代理支持 HTTPS（如 mitmproxy、Fiddler），确保其监听 https://*；否则改用 CDP 方案（见下文备选）
❌ 页面级 fetch 绕过代理	fetch 默认走浏览器网络栈，但某些代理（尤其 PAC 脚本）可能被 bypass	在 chrome_options 中显式添加 --proxy-pac-url=file:///path/to/proxy.pac 或确认代理支持 DIRECT fallback

✅ 推荐最小可行代理配置：

page-agent 浏览器控制（CDP）

使用 page-agent CLI（CDP）控制浏览器；CLI只能通过 GitHub Release 的 .tgz 安装，npm 官方包暂未发布。

下载

chrome_options.add_argument("--incognito")  # 避免 profile 冲突
chrome_options.add_argument(f"--proxy-server={proxy_url}")
chrome_options.add_argument("--proxy-bypass-list=")  # 允许 localhost 直连

? 跨域与安全性：何时能发？何时被拦？

• 同源请求（Same-Origin）：自动携带当前页面 Cookie、Referer，无需额外配置，最推荐；
• 跨域请求（CORS）：若服务端未设置 Access-Control-Allow-Origin，浏览器直接报错（控制台可见 CORS policy）；
  • ✅ 开发/测试环境临时解法：启动 Chrome 时加 --disable-web-security --user-data-dir=/tmp/temp；
  • ⚠️ 生产勿用！合规方案应由服务端配置 CORS，或改用 requests + Cookie 桥接（见下文）；
• 非 CORS 场景（如 file:// 协议）：fetch 受限更严，建议统一走 http://localhost 启动测试页。

? 进阶：Fetch + Requests 双通道桥接（推荐生产）

当 fetch 因跨域/代理不可控而受限时，可无缝切换至 requests.Session，并复用 Selenium 的 Cookie：

from requests import Session
import json

def selenium_to_requests_session(driver):
    session = Session()
    # 同步 cookies（自动处理 expiry/domain/path）
    for cookie in driver.get_cookies():
        session.cookies.set(
            cookie['name'], cookie['value'],
            domain=cookie.get('domain', ''),
            path=cookie.get('path', '/'),
            secure=cookie.get('secure', False),
            rest={'HttpOnly': cookie.get('httpOnly', False)}
        )
    return session

# 使用示例
s = selenium_to_requests_session(driver)
resp = s.get(
    "https://myhttpheader.com/",
    headers={
        "CUSTOM_HEADER_1": "value_1",
        "CUSTOM_HEADER_2": "value_2"
    }
)
print("Requests response:", resp.json())

此方案兼顾：✅ 浏览器登录态复用、✅ 完整 HTTP 控制（状态码、重定向、代理）、✅ 易调试、✅ 无跨域限制。

✅ 总结：选择策略

场景	推荐方案	理由
同源接口、需自动带 Cookie/Referer/UA	execute_async_script + fetch	最轻量、零依赖、语义清晰
跨域接口、服务端已配 CORS	fetch + execute_async_script	仍可用，但需确认预检（OPTIONS）通过
跨域且服务端不可控、需强代理/重试/日志	requests.Session + Cookie 桥接	稳定、可控、易集成进 pytest fixture
需抓包分析原始请求（含 Request Body/Headers）	driver.execute_cdp_cmd("Network.enable", {}) + Network.requestWillBeSent	底层可观测，但 API 复杂、Chrome 版本敏感

? 终极建议：在自动化框架中封装统一 http_request() 方法，内部按 URL 是否同源、是否启用代理、是否要求完整 HTTP 控制等条件自动路由至 fetch 或 requests，对外暴露一致接口——这才是可持续、可维护的工程化实践。