首頁  >  問答  >  主體

python - scrapy 处理 文章 分页的内容

如一篇文章有2-3页,然后想把这些内容页爬下来,拼接成一页,然后再放入数据库。
文章url如:article_1.html,article_2.html
item有:item['title'],item['content']
item['content']就是拼接成一页的内容。
大概怎么写呢?

PHP中文网PHP中文网2741 天前397

全部回覆(3)我來回復

  • 大家讲道理

    大家讲道理2017-04-18 10:34:48

    找到分頁介面url

    回覆
    0
  • 大家讲道理

    大家讲道理2017-04-18 10:34:48

    找到那個下一頁的鏈接,加入到爬取url列表中

    回覆
    0
  • PHP中文网

    PHP中文网2017-04-18 10:34:48

    可以在rules裡面寫正規自動掃描符合的url

    回覆
    0
  • 取消回覆