Rumah  >  Soal Jawab  >  teks badan

python - Linux下使用APScheduler 定时执行scrapy爬虫失败,本地windows执行成功

爬虫使用scrapy框架写的,使用脚本方式执行,配合APScheduler任务调度器定时执行,爬虫本身可以执行,只是定时执行失败,也没有报错误原因,日志见图,

这是程序执行主要代码部分

代码在windows系统可以运行,目前在Linux失败了,请问是什么原因?

PHP中文网PHP中文网2741 hari yang lalu1068

membalas semua(1)saya akan balas

  • ringa_lee

    ringa_lee2017-04-18 09:20:05

    Setelah banyak mengutak-atik dan mencari di atas dinding, akhirnya saya dapat menjalankannya di bawah Linux Kali pertama saya menjadualkan kerja crawler, ia dihidupkan, tetapi ia tidak menghuraikan halaman web Hanya apabila saya menjadualkannya untuk kali kedua ia mula menghuraikan dan berfungsi seperti biasa. Tekaan saya sendiri ialah ia berkaitan dengan react.run(). Apabila rangka kerja penjadualan tugas apscheduler digunakan bersama dengan Scrapy, ia mesti digunakan di bawah rangka kerja berpintal. Apabila tugas crawler akan dilaksanakan dengan kerap, penghuraian tidak akan dilakukan buat kali pertama, tetapi akan dihuraikan untuk kali kedua.

    balas
    0
  • Batalbalas