如何在Python多进程中高效复用Playwright的BrowserContext？-Python教程-PHP中文网

BrowserContext 不能跨进程共享，必须每个子进程独立启动浏览器并创建上下文；错误传递会导致序列化失败或连接中断，正确做法是在子进程中用 sync_playwright() 初始化并复用 browser 实例。

如何在python多进程中高效复用playwright的browsercontext？

BrowserContext 不能跨进程共享

Playwright 的 BrowserContext 实例本质上绑定到创建它的浏览器进程和 Python 进程的事件循环，**无法被 fork 或传递到其他子进程**。尝试用 multiprocessing.Queue、Manager 或 pickle 传递 context 对象，会直接报 TypeError: cannot pickle '_thread.RLock' object 或更隐蔽的连接中断错误。

常见误操作包括：在主进程创建 context → 传给 Process(target=..., args=(context,)) → 子进程调用 context.new_page() → 立即卡死或抛出 TimeoutError（底层 WebSocket 连接已失效）。

正确做法：每个子进程独立启动 browser + context

多进程下必须让每个子进程自己调用 playwright.chromium.launch()（或 firefox / webkit），再调用 browser.new_context()。这不是浪费——Playwright 的 browser 启动极快（尤其启用 headless=True 和 chromium_sandbox=False 时），且 context 创建是轻量级的。

关键实操建议：

务必在子进程函数内部初始化 Playwright 和 browser，不要复用主进程的 Playwright 实例
显式关闭资源：context.close() → browser.close() → playwright.stop()，否则子进程退出后可能残留渲染进程
避免使用全局 playwright 变量；每次用 sync_playwright().start() 获取新实例（它本身是轻量的上下文管理器）
若需共享 cookies 或 localStorage，改用 context.storage_state() 序列化后通过文件或 Queue 传递，再在新 context 中用 storage_state=... 参数加载

性能优化：复用 browser 实例（同一进程内）

虽然 context 不能跨进程，但在单个子进程中，你可以安全复用同一个 browser 实例创建多个 context —— 这比反复 launch() 快得多。典型场景是：一个子进程处理一批 URL，每个 URL 开一个独立 context 隔离状态。

示例结构：

macOS UI 自动化技能包 —— 用 Python 控制你的 Mac

让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启：辅助功能 + 屏幕录制权限

下载

def worker(urls):
    with sync_playwright() as p:
        browser = p.chromium.launch(headless=True)
        for url in urls:
            context = browser.new_context()
            page = context.new_page()
            page.goto(url)
            # ... 处理逻辑
            context.close()  # 关闭 context，但 browser 保持打开
        browser.close()  # 所有 context 完成后再关 browser

注意：不要在循环外提前 browser.close()，否则后续 new_context() 会失败；也不要漏掉 context.close()，否则内存泄漏明显。