ホームページ  >  に質問  >  本文

python - Linux下使用APScheduler 定时执行scrapy爬虫失败,本地windows执行成功

爬虫使用scrapy框架写的,使用脚本方式执行,配合APScheduler任务调度器定时执行,爬虫本身可以执行,只是定时执行失败,也没有报错误原因,日志见图,

这是程序执行主要代码部分

代码在windows系统可以运行,目前在Linux失败了,请问是什么原因?

PHP中文网PHP中文网2741日前1067

全員に返信(1)返信します

  • ringa_lee

    ringa_lee2017-04-18 09:20:05

    いろいろいじって調べた結果、最終的に Linux で実行できるようになりました。初めてクローラー ジョブをスケジュールしたときは有効になりましたが、スケジュールしたときのみ Web ページが解析されませんでした。 2回目は解析が開始され、正常に動作しました。私自身の推測では、apscheduler タスク スケジューリング フレームワークを Scrapy と組み合わせて使用​​する場合は、Twisted フレームワークの下で使用する必要があります。クローラータスクを定期的に実行する場合、初回の解析は行われず、2回目の解析が行われます。

    返事
    0
  • キャンセル返事