搜尋

首頁  >  問答  >  主體

python - 在编写scrapy爬虫的时候rules中allow的书写问题

在编写爬取58同城二手手机出售的信息的时候,rules里的allow应该怎么写?
它里面给出的下一页或者第二页第三页等等的链接给出的都是缩减的链接,那么rules里的allow应该要怎么写呢?有哪位高手可以指点一二嘛?谢谢~

巴扎黑巴扎黑2876 天前446

全部回覆(1)我來回復

  • 伊谢尔伦

    伊谢尔伦2017-04-18 10:35:23

    縮減的連結可以用urljoin()組合啊

    回覆
    0
  • 取消回覆