搜索

首页  >  问答  >  正文

python - pyspider 定时爬取问题


在写爬虫的时候,发现 在代码中设置了 every 之后,21号爬取了一次之后,今天看 result 没有更新,那个 lastcrawltime 依旧是 21号的。请问是不是我的参数设置的不正确?

我想大声告诉你我想大声告诉你2756 天前969

全部回复(2)我来回复

  • 迷茫

    迷茫2017-05-18 10:55:29

    你贴的这个 task 的图,是什么任务的?

    贴的是 detail_page 的任务的

    题主给 index_page 设置了小于 cronjob 间隔的时间。然而没有给 detail_page 设置。这样 detail_page 是不会被重新调度的

    project 队列状态,最近活动任务是怎样的?

    回复
    0
  • 我想大声告诉你

    我想大声告诉你2017-05-18 10:55:29

    有可能是 every 和 age 不匹配。如果 age 没问题的话,说实话这属于疑难杂症了,我也经常遇到,我都是去 taskdb 把相应的表清空,然后重启 pyspider 重新运行项目

    回复
    0
  • 取消回复