搜索

首页  >  问答  >  正文

node.js - nodejs爬虫如何控制请求数量?

在用nodejs爬取网页内容的时候,如果请求数太多,有时候会导致抛出异常,提示 too many connections等错误.请问nodejs有没有线程锁定这样的关键字或者类库?或者怎么处理比较好?先谢谢了!

滿天的星座滿天的星座2710 天前1044

全部回复(2)我来回复

  • typecho

    typecho2017-06-27 09:21:30

    nodejs没有sleep之类的函数。
    我一般使用event配合

    const EventEmitter = require('events').EventEmitter;
    const ee = new EventEmitter();
    
    ee.on('next',(数据)=>{
        // 爬网站
    });
    
    // 每秒执行一次
    setInterval(()=>ee.emit('next','数据'),1000);

    回复
    0
  • ringa_lee

    ringa_lee2017-06-27 09:21:30

    异步?

    回复
    0
  • 取消回复