Playwright 网页抓取 Skill

一款基于 Playwright 的网页抓取 OpenClaw Skill，具备反爬虫保护能力。请根据目标网站的反爬等级选择最合适的方法。

🎯 使用场景矩阵

📦 安装

cd playwright-scraper-skill
npm install
npx playwright install chromium

🚀 快速开始

1️⃣ 普通网站（无反爬）

使用 OpenClaw 内置的 web_fetch 工具：

# 在 OpenClaw 中直接调用
Hey, fetch me the content from https://example.com

2️⃣ 动态网站（需执行 JavaScript）

使用 Playwright Simple：

node scripts/playwright-simple.js "https://example.com"

示例输出：

{
  "url": "https://example.com",
  "title": "Example Domain",
  "content": "...",
  "elapsedSeconds": "3.45"
}

3️⃣ 反爬防护网站（如 Cloudflare 等）

使用 Playwright Stealth：

node scripts/playwright-stealth.js "https://m.discuss.com.hk/#hot"

特性：

• 隐藏自动化标记（navigator.webdriver = false）
• 使用真实设备 User-Agent（iPhone / Android）
• 引入随机延迟以模拟人类行为
• 支持截图与 HTML 文件保存

4️⃣ YouTube 视频字幕提取

使用 deep-scraper（需单独安装）：

# 安装 deep-scraper Skill
npx clawhub install deep-scraper

# 使用
cd skills/deep-scraper
node assets/youtube_handler.js "https://www.youtube.com/watch?v=VIDEO_ID"

📖 脚本说明

scripts/playwright-simple.js

• 适用场景：常规动态网站
• 速度：快（3–5 秒）
• 反爬能力：无
• 输出格式：JSON（含 title、content、URL）

scripts/playwright-stealth.js ⭐

• 适用场景：受 Cloudflare 或其他反爬机制保护的网站
• 速度：中等（5–20 秒）
• 反爬能力：中–高（隐藏自动化特征、使用真实 UA）
• 输出格式：JSON + 截图 + HTML 文件
• 实测效果：在 Discuss.com.hk 上成功率 100%

🎓 最佳实践

1. 优先尝试 web_fetch

若网站无动态加载内容，请优先使用 OpenClaw 自带的 web_fetch 工具——它最快。

2. 需要执行 JavaScript？使用 Playwright Simple

若需等待 JavaScript 渲染完成，请使用 playwright-simple.js。

3. 遭遇封禁？切换至 Stealth 模式

若返回 403 错误或出现 Cloudflare 验证页，请改用 playwright-stealth.js。

4. 特殊平台需专用 Skill

• YouTube → deep-scraper
• Reddit → reddit-scraper
• Twitter → bird skill

🔧 自定义配置

所有脚本均支持环境变量配置：

# 设置截图路径
SCREENSHOT_PATH=/path/to/screenshot.png node scripts/playwright-stealth.js URL

# 设置等待时间（毫秒）
WAIT_TIME=10000 node scripts/playwright-simple.js URL

# 启用 headful 模式（显示浏览器界面）
HEADLESS=false node scripts/playwright-stealth.js URL

# 保存 HTML 文件
SAVE_HTML=true node scripts/playwright-stealth.js URL

# 自定义 User-Agent
USER_AGENT="Mozilla/5.0 ..." node scripts/playwright-stealth.js URL

📊 性能对比

🛡️ 反爬技术总结

基于实测得出的经验：

✅ 有效的反爬绕过措施

1. 隐藏 navigator.webdriver —— 必须项
2. 使用真实 User-Agent —— 推荐 iPhone / Android 真实设备 UA
3. 模拟人类行为 —— 加入随机延迟、滚动操作等
4. 避免框架指纹特征 —— Crawlee、Selenium 等易被识别
5. 使用 addInitScript（Playwright） —— 在页面加载前注入脚本

❌ 无效或效果有限的反爬绕过措施

1. 仅修改 User-Agent —— 单一手段不足以绕过检测
2. 使用高级封装框架（如 Crawlee） —— 更易暴露自动化特征
3. Docker 隔离 —— 对 Cloudflare 无实质性帮助

🔍 故障排查

问题：403 Forbidden

解决方案：改用 playwright-stealth.js

问题：出现 Cloudflare 验证页

解决方案：

1. 延长等待时间（建议 10–15 秒）
2. 尝试启用 headless: false（headful 模式有时成功率更高）
3. 考虑使用代理 IP

问题：页面为空白

解决方案：

1. 增大 waitForTimeout 值
2. 使用 waitUntil: 'networkidle' 或 'domcontentloaded'
3. 确认是否需要登录后才能访问

📝 经验与记忆

2026-02-07 Discuss.com.hk 测试结论

• ✅ 纯 Playwright + Stealth 方案 成功（耗时 5s，返回 200 OK）
• ❌ Crawlee（deep-scraper）失败（返回 403）
• ❌ Chaser（Rust）失败（触发 Cloudflare）
• ❌ Puppeteer 标准版失败（返回 403）

最优方案：纯 Playwright + 反爬技巧（不依赖特定框架）

🚧 后续改进计划

• 增加代理 IP 轮换支持
• 实现 Cookie 管理（维持登录态）
• 集成 CAPTCHA 处理（2captcha / Anti-Captcha）
• 批量抓取（并行处理多个 URL）
• 与 OpenClaw 的 browser 工具集成

📚 参考资料

• Playwright 官方文档
• puppeteer-extra-plugin-stealth
• deep-scraper Skill