搜尋

首頁  >  問答  >  主體

node.js - nodejs爬蟲如何控制請求數量?

在用nodejs爬取網頁內容的時候,如果請求數太多,有時候會導致拋出異常,提示 too many connections等錯誤.請問nodejs有沒有線程鎖定這樣的關鍵字或者類別庫?或怎麼處理比較好?先謝謝了!

滿天的星座滿天的星座2748 天前1070

全部回覆(2)我來回復

  • typecho

    typecho2017-06-27 09:21:30

    nodejs沒有sleep之類的函數。
    我一般使用event配合

    const EventEmitter = require('events').EventEmitter;
    const ee = new EventEmitter();
    
    ee.on('next',(数据)=>{
        // 爬网站
    });
    
    // 每秒执行一次
    setInterval(()=>ee.emit('next','数据'),1000);

    回覆
    0
  • ringa_lee

    ringa_lee2017-06-27 09:21:30

    異步?

    回覆
    0
  • 取消回覆