cari

Rumah  >  Soal Jawab  >  teks badan

python - 基于scrapy-redis的分布式爬虫运行的时候不能正常运行 遇到的问题如下截图所示

爬虫运行时一直是这样的每一分钟出现一条这样的信息,无限循环。不能爬取下来数据

这是redis服务端的显示

这样是什么问题,望有高手可以为我解惑,谢谢。

PHPzPHPz2821 hari yang lalu639

membalas semua(1)saya akan balas

  • 大家讲道理

    大家讲道理2017-04-18 10:34:53

    Menggunakan scrapy_redis, anda perlu meletakkan url untuk labah-labah merangkak Adakah anda telah meletakkannya?
    Contohnya

    redis-cli lpush myspider:start_urls http://google.com

    balas
    0
  • Batalbalas