Python3中如何利用Playwright无头模式高效抓取知乎回答数据？-Python教程-PHP中文网

Playwright在知乎反爬中失败主因是无头模式暴露navigator.webdriver等指纹特征，需通过伪造User-Agent、注入脚本覆盖webdriver及plugins、禁用AutomationControlled等三项配置绕过；同时须模拟滚动、点击展开、轮询等待Vue渲染，并配合住宅代理与请求限频。

python3中如何利用playwright无头模式高效抓取知乎回答数据？

Playwright 在知乎这类反爬较强的站点上，直接启用无头模式（headless=True）大概率会触发风控：页面空白、跳转登录页、返回 403 或直接被 cloudflare 拦截。真正能跑通的关键不是“开不开无头”，而是如何让无头浏览器看起来像真实用户。

为什么默认 `headless=True` 在知乎上几乎必失败

知乎前端会检测 navigator.webdriver、plugins、languages、userAgent 等多个指纹特征。Playwright 默认的无头 Chromium 会暴露 navigator.webdriver === true，且缺少常见插件和字体信息，触发前端 JS 风控逻辑。

打开 DevTools → Console 输入 navigator.webdriver，正常 Chrome 返回 false，Playwright 无头默认返回 true
知乎首页加载后若立即执行 page.query_selector("div.List-item") 返回 None，大概率是被静默拦截
抓取回答页时若响应 HTML 中含 "data-v-xxxx" 但无实际内容，说明 Vue 实例未挂载——JS 被阻断执行

必须启用的三项指纹绕过配置

仅靠 --disable-blink-features=AutomationControlled 不够，需组合覆盖核心检测点：

启动时传入伪造的 userAgent 和 locale，例如：user_agent="Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36"
用 context.add_init_script() 注入脚本，覆盖 navigator.webdriver 并补全 plugins 和 mimeTypes（可复用 playwright-extra-stealth 的精简版 patch）
禁用自动化相关 flag：args=["--disable-blink-features=AutomationControlled", "--disable-features=IsolateOrigins,site-per-process"]

示例关键代码段：

from playwright.sync_api import sync_playwright
<p>with sync_playwright() as p:
browser = p.chromium.launch(
headless=True,
args=[
"--disable-blink-features=AutomationControlled",
"--disable-features=IsolateOrigins,site-per-process"
]
)
context = browser.new_context(
user_agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36",
locale="zh-CN"
)</p><h1>注入绕过脚本（必须在 new_page 前）</h1><pre class="brush:php;toolbar:false;">context.add_init_script("""
    Object.defineProperty(navigator, 'webdriver', { get: () => undefined });
    window.chrome = { runtime: {} };
    Object.defineProperty(navigator, 'plugins', {
        get: () => [1, 2, 3, 4, 5].map(() => ({ name: '', filename: '', description: '' }))
    });
""")
page = context.new_page()
page.goto("https://www.zhihu.com/question/123456789")
# 此时再等待并提取才可能成功

python-parallelization

将顺序 Python 代码转换为并行/并发实现，用于在需要并行化 Python 代码、提升性能时使用。

下载

抓取回答数据时的两个硬性动作不能省

知乎回答页依赖滚动触底加载、点击「展开」按钮、等待 Vue 渲染完成。单纯 page.wait_for_timeout(3000) 极不可靠。

必须用 page.evaluate() 主动检查 document.querySelectorAll(".List-item").length 是否增长，配合 page.wait_for_function() 轮询，避免提前读空
遇到「展开全部」按钮（button:has-text("展开全部")），需先 page.locator().click() 并 page.wait_for_timeout(800)，否则后续内容不渲染
提取文本时优先用 locator.inner_text() 而非 inner_html()，规避广告模块和干扰节点

代理与请求头的真实感比“是否无头”更重要

即使绕过前端指纹，知乎后端仍会校验 User-Agent、Cookie、Referer 和请求频率。高频请求不用代理必然封 IP。

务必使用高质量住宅代理（如 BrightData、Oxylabs），并为每个 context 绑定独立 session
在 context.new_page() 后，用 page.set_extra_http_headers() 补充 Referer 和 Accept-Language
单个 IP 每分钟请求不要超过 3 次，回答页建议加 time.sleep(random.uniform(2, 5))（注意别在 Playwright 协程里用原生 sleep）

真正卡住人的从来不是“怎么写爬虫”，而是知乎每次改版都会新增一个检测点——比如最近开始校验 canvas 渲染指纹或 WebGL vendor 字符串。这类细节不会报错，只会让你拿到一堆空列表。