本文介绍如何使用 selenium 或 playwright 在 python 中以无头（不显示界面）方式启动 firefox 浏览器抓取网页数据，解决 requests 无法模拟真实浏览器行为、而 webbrowser 会弹出可视窗口的问题。
本文介绍如何使用 selenium 或 playwright 在 python 中以无头（不显示界面）方式启动 firefox 浏览器抓取网页数据，解决 requests 无法模拟真实浏览器行为、而 webbrowser 会弹出可视窗口的问题。
requests 是一个纯 HTTP 客户端库，它不启动任何浏览器，也不执行 JavaScript，因此无法“用 Firefox 发送请求”——Firefox 是一个浏览器，不是 HTTP 请求引擎。同样，webbrowser 模块仅用于打开系统默认浏览器的可视化窗口，无法满足“后台运行 Firefox”的需求。
要真正以 Firefox 内核发起请求（尤其是当目标网站依赖 JavaScript 渲染、Cookie 管理、TLS 指纹或反爬校验时），必须借助浏览器自动化工具。目前最主流且推荐的两个方案是 Selenium 和 Playwright，二者均支持显式指定 Firefox，并提供可靠的无头（headless）模式。
✅ 推荐方案一：Selenium + Firefox（稳定成熟）
首先安装依赖：
pip install selenium
还需下载 GeckoDriver（Firefox 对应的 WebDriver），并确保其路径在 PATH 中，或在代码中显式指定。
示例代码（无头 Firefox 抓取页面标题）：
from selenium import webdriver
from selenium.webdriver.firefox.options import Options
from selenium.webdriver.common.by import By
# 配置无头模式
options = Options()
options.add_argument("--headless") # 关键：不显示窗口
options.add_argument("--no-sandbox")
options.add_argument("--disable-dev-shm-usage")
# 启动 Firefox WebDriver
driver = webdriver.Firefox(options=options)
try:
driver.get("https://httpbin.org/html")
title = driver.title
print("Page title:", title)
# 可进一步提取 HTML、截图、执行 JS 等
finally:
driver.quit() # 必须关闭，避免残留进程
⚠️ 注意：Selenium 4+ 默认要求 GeckoDriver 0.33+；若遇 WebDriverException，请检查 GeckoDriver 版本与 Firefox 是否兼容。
✅ 推荐方案二：Playwright + Firefox（现代高效）
Playwright 更轻量、启动更快，原生支持多浏览器且无需手动管理驱动：
pip install playwright playwright install firefox # 自动下载并配置 Firefox 浏览器
示例代码：
from playwright.sync_api import sync_playwright
with sync_playwright() as p:
# 显式指定 Firefox，启用无头模式（默认即 headless）
browser = p.firefox.launch(headless=True)
page = browser.new_page()
page.goto("https://httpbin.org/html")
title = page.title()
print("Page title:", title)
browser.close()
✅ 优势：Playwright 自动管理浏览器二进制和驱动；支持同步/异步 API；内置等待机制更鲁棒；对现代前端框架（如 React/Vue）兼容性更好。
? 总结与选型建议
- 若项目已使用 Selenium 或需长期维护兼容性，选 Selenium + Firefox；
- 若追求开发效率、稳定性及现代 Web 场景适配（如单页应用、登录态保持、文件下载），优先选择 Playwright；
- requests 仍适用于纯静态 API 或简单 HTML 页面（配合 BeautifulSoup）；但凡涉及 JS 渲染、登录跳转、动态 token，必须用真实浏览器引擎；
- 所有无头浏览器实例务必显式关闭（driver.quit() / browser.close()），否则可能累积僵尸进程。
正确理解「用 Firefox 请求」的本质——不是更换 HTTP 库，而是调用 Firefox 浏览器引擎执行真实渲染与网络请求。选对工具，才能精准解决问题。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
