搜尋

首頁  >  問答  >  主體

python - Scrapy如何爬取多个不同页面?

PHPzPHPz2842 天前714

全部回覆(2)我來回復

  • 黄舟

    黄舟2017-04-18 09:28:21

    如果a,b是獨立的,就分兩個spider,一個spider是可以用多個item的,如果有需要的話。

    回覆
    0
  • 怪我咯

    怪我咯2017-04-18 09:28:21

    如果是兩個獨立的目標網站,分開寫會比較靈活一點。
    如果是同一個網站,假定你分別有兩個item:itema, itemb, 有很多url要爬取,這些url能在兩個item的解析都獲取到,你獲取了url後就yield新的請求就可以了。

    回覆
    0
  • 取消回覆