首頁  >  問答  >  主體

python - Linux下使用APScheduler 定时执行scrapy爬虫失败,本地windows执行成功

爬虫使用scrapy框架写的,使用脚本方式执行,配合APScheduler任务调度器定时执行,爬虫本身可以执行,只是定时执行失败,也没有报错误原因,日志见图,

这是程序执行主要代码部分

代码在windows系统可以运行,目前在Linux失败了,请问是什么原因?

PHP中文网PHP中文网2741 天前1066

全部回覆(1)我來回復

  • ringa_lee

    ringa_lee2017-04-18 09:20:05

    經過自己折騰和翻牆查找終於讓它在Linux下運行起來了,第一次調度爬蟲作業是打開的,但是不解析網頁,只有第二次調度它時,它才開始解析並且正常工作。我自己猜測和react.run()有關,apscheduler任務調度框架和Scrapy結合使用時是要在twisted框架下使用的。當要定時執行爬蟲任務時,第一次不解析,第二次開始解析。

    回覆
    0
  • 取消回覆