在用nodejs爬取网页内容的时候,如果请求数太多,有时候会导致抛出异常,提示 too many connections等错误.请问nodejs有没有线程锁定这样的关键字或者类库?或者怎么处理比较好?先谢谢了!
typecho2017-06-27 09:21:30
nodejs没有sleep之类的函数。
我一般使用event配合
const EventEmitter = require('events').EventEmitter;
const ee = new EventEmitter();
ee.on('next',(数据)=>{
// 爬网站
});
// 每秒执行一次
setInterval(()=>ee.emit('next','数据'),1000);