node.js - nodejs superagent读取网页内容，怎么控制请求的频率

Question

nodejs superagent读取网页内容，怎么控制请求的频率，比如说1秒一次请求，因为做数据抓取，不能太快，我想到的是用settimeout之类的，但是感觉不是特别合适，有没有比较好的实现方法？

Answer 1

node-schedule - Cron風格定時器

*    *    *    *    *    *
┬    ┬    ┬    ┬    ┬    ┬
│    │    │    │    │    |
│    │    │    │    │    └ day of week (0 - 7) (0 or 7 is Sun)
│    │    │    │    └───── month (1 - 12)
│    │    │    └────────── day of month (1 - 31)
│    │    └─────────────── hour (0 - 23)
│    └──────────────────── minute (0 - 59)
└───────────────────────── second (0 - 59, OPTIONAL)

// 每天 6:30,10:30,14:30,18:30,21:30 定时dosomething...
schedule.scheduleJob('0 30 6,10,14,18,21 * * *', function() {
    // do something....
});

// 每隔十分钟dosomething...
schedule.scheduleJob('0 0,10,20,30,40,50 * * * *', function() {
    // do something...
});

https://github.com/xCss/bing/... 這裡有使用的範例

Answer 2

有的網站有並發連線數的限制，請求發送太快的時候會回傳空或報錯，所以建議你可以使用async來控制並發。
https://github.com/caolan/async