首頁  >  問答  >  主體

python - Scrapy如何爬取多个不同页面?

PHPzPHPz2634 天前601

全部回覆(2)我來回復

  • 黄舟

    黄舟2017-04-18 09:28:21

    如果a,b是独立的,就分两个spider,一个spider是可以用多个item的,如果有需要的话。

    回覆
    0
  • 怪我咯

    怪我咯2017-04-18 09:28:21

    如果是两个独立的目标网站,分开写会比较灵活一点。
    如果是同一个网站,假定你分别有两个item:itema, itemb, 有很多url要爬取,这些url能在两个item的解析都获取到,你获取了url后就yield新的请求就可以了。

    回覆
    0
  • 取消回覆