Python – Pyspider-Crawling-Problem

Question

Als ich den Crawler schrieb, stellte ich fest, dass ich nach dem Festlegen von every im Code nach dem einmaligen Crawlen am 21. sah, dass das Ergebnis heute nicht aktualisiert wurde und die letzte Crawlzeit immer noch am 21. war. Ist meine Parametereinstellung falsch?

Answer 1

你贴的这个 task 的图，是什么任务的？

贴的是 detail_page 的任务的

题主给 index_page 设置了小于 cronjob 间隔的时间。然而没有给 detail_page 设置。这样 detail_page 是不会被重新调度的

project 队列状态，最近活动任务是怎样的？

Answer 2

有可能是 every 和 age 不匹配。如果 age 没问题的话，说实话这属于疑难杂症了，我也经常遇到，我都是去 taskdb 把相应的表清空，然后重启 pyspider 重新运行项目