搜索

首页  >  问答  >  正文

python - 如何解决程序运行太久之后被操作系统暂停的情况?

我有几个python爬虫程序,需要持续不间断运行,但是每次都是运行了两天之后变得无响应,每次都是阻塞在time.sleep(60)的地方,但是进程又没有死掉,在控制台输入Ctrl C都不能退出程序,只能在任务管理器里强制退出才行。

请问这是由什么原因导致的?以及如何解决这个问题?

先谢谢各位前辈了!

扔个三星炸死你扔个三星炸死你2782 天前1118

全部回复(2)我来回复

  • 巴扎黑

    巴扎黑2017-06-12 09:24:55

    问题分析建议:

    linux: 可以尝试通过strace命令追踪进程状态, 根据输出的内容做分析,或者通过proc对应目录的文件对进程的各项指标做分析! Ctrl-C无效,怀疑进程进入不可中断的睡眠,具体还得看实际获取的数据才有可能知道

    windows: 通过任务管理器找到对应的进程, 右键->创建转储文件, 分析该转储文件看能否找出原因.

    爬虫程序: 自身对爬取的进度,做详细的日志, 不管是链接,还是遇到的异常,最好都记录下来,以便得知具体停止的时间, 和停止时,爬取的进度, 下次可以先针对这个进度再去深入分析.

    回复
    0
  • PHP中文网

    PHP中文网2017-06-12 09:24:55

    linux系统的话试试用crontab去做定时任务
    windows用任务计划

    回复
    0
  • 取消回复