search

Home  >  Q&A  >  body text

python - 在编写scrapy爬虫的时候rules中allow的书写问题

在编写爬取58同城二手手机出售的信息的时候,rules里的allow应该怎么写?
它里面给出的下一页或者第二页第三页等等的链接给出的都是缩减的链接,那么rules里的allow应该要怎么写呢?有哪位高手可以指点一二嘛?谢谢~

巴扎黑巴扎黑2876 days ago439

reply all(1)I'll reply

  • 伊谢尔伦

    伊谢尔伦2017-04-18 10:35:23

    Reduced links can be combined using urljoin()

    reply
    0
  • Cancelreply