requests.get() 拿不到真实渲染html是因为它不执行javascript，只能获取初始空壳html；而playwright通过内置chromium执行js、模拟googlebot ua、等待networkidle并调用page.content()，才能获取接近搜索引擎快照的完整html。
为什么直接用 requests.get() 拿不到真实渲染后的 HTML
因为现代网页大量依赖 JavaScript 动态加载内容，requests 只能获取服务端返回的初始 HTML（往往是个空壳或骨架），而搜索引擎爬虫（如 Googlebot）实际抓取的是执行 JS 后的最终 DOM。你看到的“网页快照”，本质是渲染引擎（Chromium）执行完所有脚本、补全 DOM、触发 DOMContentLoaded 和 load 事件后的结构。
用 Playwright 模拟真实爬虫行为最可靠
Playwright 内置 Chromium/Firefox/WebKit，支持启用真实 User-Agent、禁用图片加载、关闭 JS 报错中断，并可等待指定元素出现——这和搜索引擎爬虫的抓取逻辑高度一致。注意别用 Selenium，它默认不等待动态内容就绪，容易截断；也别用 Pyppeteer，维护滞后且对 service worker 支持不稳定。
- 启动时加
--disable-javascript会直接失败，必须保留 JS 执行能力 - 关键参数：设置
user_agent="Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" - 等待策略选
wait_until="networkidle"，比"domcontentloaded"更稳妥，避免接口延迟导致内容未加载 - 获取 HTML 必须用
page.content()，不是page.inner_html("html")—— 后者只返回当前节点子树，漏掉和全局 script 标签
page.content() 返回的 HTML 与搜索引擎快照仍可能有差异
差异主要来自三类不可控因素：服务端 UA 判断、客户端 localStorage 差异、以及页面内主动检测爬虫的行为（比如检查 navigator.webdriver）。Playwright 默认开启 webdriver 属性，会被部分站点识别为自动化工具并返回降级内容。
- 绕过检测需在 launch 时加参数：
chromium.launch(headless=True, args=["--disable-blink-features=AutomationControlled"]) - 再配合 JS 注入屏蔽
navigator.webdriver：page.add_init_script("Object.defineProperty(navigator, 'webdriver', {get: () => undefined})") - 但某些站点还会检查
chrome.runtime或permissions.query，这类对抗已超出 HTML 快照提取范畴，需权衡是否值得投入
保存快照时别忽略 meta 和 script 的上下文完整性
很多 SEO 相关信息藏在 <meta name="description">、<script type="application/ld+json"></script> 或 <link rel="canonical"> 中。如果只用 BeautifulSoup 提取可见文本，这些关键结构就丢了。快照必须是完整 HTML 字符串，且编码要统一为 UTF-8。
- 写入文件前务必调用
html.encode("utf-8")，否则中文<meta charset="gbk">鍙
前端入门到VUE实战笔记：立即使用
在学习笔记中，你将探索 前端 的入门与实战技巧！
