搜索

首页  >  问答  >  正文

python - Scrapy读取数据库中的url进行爬去

比如我爬去了豆瓣的Top100页面,将每本书的详情页面的URL存入MongoDB中,然后我用Redis去重。然后从Redis中获取url去爬详细的数据。
现在有个问题

在Scrapy中,怎么处理MongoDB中url字段的值进入Redis。或许说。Scrapy怎么从数据库中获取url。

谢谢

PHP中文网PHP中文网2807 天前929

全部回复(1)我来回复

  • 阿神

    阿神2017-04-18 10:17:29

    在start_requests写不行吗?
    比如

    def start_requests(self):

    r = Redis.Redis()
    while true:
        url = r.lpop('xxxx')
        yield scrapy.Request(url)

    回复
    0
  • 取消回复