PHP采集超时

Question

写了一个api数据采集的php程序放到服务器，但是数据量巨大，总是会采集超时。请问可以有什么解决方案？有没有办法设置超时之后自动刷新，从断点重新开始运行程序？

Answer 1

采集工作不要使用浏览器进行程序访问 ， 使用命令行模式没有超时的情况， 但是使用命令行模式要注意内存的释放，否则会有存在内存溢出的错误， 如果使用浏览器进行程序执行入口 需要增加分页跳转功能， 采集完几个地址后自动跳转一下， 这样就避免超时了 set_time_limit 如果可以调的话可以调的大一点
（补充一点：超时后自动刷新这个没办法实现，超时了程序就已经终止了，只能认为刷新， 从断点开始继续采集这个是有办法的， 每次采集开始时记录一下当前采集链接，结束时把当前采集链接状态设为完成状态，重新开始采集的时候程序自动检测一下这个日志，从有记录的地方开始采集就可以了）

Answer 2

我博客专门有一篇PHP并行采集的文章 比一般的效率高很多
连接: http://rrtry.top/%E7%BD%91%E7%AB%99%E6%8A%80%E6%9C%AF/20.html

set_time_limit(0); 可以不超时
超时自动刷新的话 没做过 感觉需要用脚本结合PHP返回数据实现

Answer 3

上午刚采集完一大坨数据，用cli模式撒。