如何使用Python Scrapy的CrawlSpider实现全站自动化爬取？-Python教程-PHP中文网

CrawlSpider通过Rule和LinkExtractor实现自动链接提取与跟进，需正确配置rules元组、allow正则（仅匹配路径）、follow与callback组合，并用scrapy genspider -t crawl生成模板以避免继承和导入错误。

如何使用python scrapy的crawlspider实现全站自动化爬取？

直接用 CrawlSpider 就能自动跟进链接，但多数人卡在规则写不对、follow 误设、回调函数名拼错这三处——不是框架不行，是配置没对齐页面真实结构。

别手写类继承关系，scrapy genspider -t crawl 是唯一可靠起点。手动改 scrapy.Spider 到 CrawlSpider 容易漏掉 Rule 和 LinkExtractor 的 import，还会丢掉默认 rules 元组结构。

scrapy genspider -t crawl bookspider books.toscrape.com 生成的文件已预置 from scrapy.spiders import CrawlSpider, Rule 和 from scrapy.linkextractors import LinkExtractor
rules 必须是元组（末尾加逗号），写成列表或单个 Rule 不带括号会静默失效
allowed_domains 若留空或写错，Scrapy 会直接过滤掉所有跨域链接，哪怕你写了 follow=True

LinkExtractor 匹配的是 URL 路径片段，不是完整 URL。比如页面里有链接 /catalog/item/123，正则写 r'/catalog/item/\d+' 就行，不用加协议、域名或查询参数。

让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启：辅助功能 + 屏幕录制权限

下载

常见错误：写 r'https://example.com/catalog/item/\d+' —— 这会永远不命中，因为提取器只看路径部分
调试技巧：先在 shell 里跑 response.css('a::attr(href)').getall()，挑几个真实链接，用 Python 的 re.search() 测试你的正则是否真能捕获
支持 XPath/CSS 限定范围：LinkExtractor(restrict_xpaths='//div[@class="nav"]//a')，避免从页脚、广告等无关区域提取垃圾链接

callback 和 follow 是绑定在同一个 Rule 上的，不是全局开关。一个 Rule 处理一类链接，该不该继续往下爬，取决于这条规则本身。

follow=True 表示：对这个 Rule 提取出的每个链接，再用全部 rules 去匹配一遍（包括它自己），形成递归追踪
follow=False 表示：只解析当前页内容，不把提取出的链接喂给下一轮规则匹配
典型分层场景：首页用 Rule 提取分类页（follow=True），分类页用另一个 Rule 提取详情页（follow=False），详情页只做数据提取不继续跳转
回调函数名必须和 rules 里写的字符串完全一致，parse_item 写成 parseitem 或 parse_Item 都会导致静默跳过，无报错也无输出

最常被忽略的是 start_urls 页面本身没包含任何匹配 allow 的链接——CrawlSpider 不会主动扫描整个 DOM，它只处理 LinkExtractor 找到的链接，而这些链接又依赖于你写的正则和 restrict 参数。

检查 start_urls 返回的 HTML，确认目标链接确实存在且结构符合你写的 restrict_xpaths 或 CSS 选择器
禁用 ROBOTSTXT_OBEY = False，否则 robots.txt 可能屏蔽掉关键路径
临时加 LOG_LEVEL = 'DEBUG'，看日志里有没有 Filtered offsite request 或 Ignoring link 提示，这是最直接的线索
CrawlSpider 默认不处理 start_urls 页面的内容，除非你单独写一个 Rule 匹配它自身（比如 Rule(LinkExtractor(allow=r'^/$'), callback='parse_home', follow=True)）

Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！