BBC Crawler MaxClaw

描述

一款功能强大、通用的网页爬虫，专为 BBC News 优化，同时也支持爬取其他网站。它集成了先进的网页抓取技术（包括 Crawl4AI 和 Playwright），可有效处理动态内容及反爬虫保护机制。

特性

• 多方法提取:
  • crawl4ai：主用方法，基于 AsyncWebCrawler，兼顾高性能与高准确率。
  • playwright：完整浏览器渲染回退方案，适用于结构复杂、高度动态的页面。
  • requests：针对静态内容的快速回退方案。
  • auto：自动检测并选择最优方法（优先选用 Crawl4AI）。
• 分层存储：以结构化方式保存内容：YYYY-MM-DD/Category/Title.md。
• 本地图片归档：将图片下载至本地，按 MD5 哈希值命名，并自动更新 Markdown 中的引用路径。
• 内容过滤：利用 CSS 选择器智能提取正文主体内容及相关图片。

依赖要求

• Python 3.9+
• Python 包依赖详见 requirements.txt。

安装

# 1. 安装依赖
# 注意：install.py 支持向 pip 传递参数，例如 --break-system-packages
python install.py

# 示例：在需指定 --break-system-packages 的环境中运行
python install.py --break-system-packages

使用方法

基础用法

python universal_crawler_v2.py --url https://www.bbc.co.uk/news --max-pages 50

高级用法

# 强制使用 Crawl4AI
python universal_crawler_v2.py --url https://www.bbc.co.uk/news --method crawl4ai

# 强制使用 Playwright
python universal_crawler_v2.py --url https://www.bbc.co.uk/news --method playwright

# 控制爬取深度与请求间隔
python universal_crawler_v2.py --url https://www.bbc.co.uk/news --depth 3 --delay 2.5

# 指定输出目录
python universal_crawler_v2.py --url https://www.bbc.co.uk/news --output ./my_data

故障排查

• 导入错误：若出现 “No module named 'crawl4ai'” 等提示，请再次运行 python install.py。
• 返回空响应：请确保使用的是最新版爬虫。部分网站可能对特定 IP 或 User-Agent 进行封禁；可尝试增大请求延迟或切换抓取方法。