
本文介绍如何将一组异步任务(如网页爬取)划分为多个批次,每批内任务并行执行,而批次之间严格串行,避免因提前创建 promise 导致的“全部立即触发”问题。
本文介绍如何将一组异步任务(如网页爬取)划分为多个批次,每批内任务并行执行,而批次之间严格串行,避免因提前创建 promise 导致的“全部立即触发”问题。
在 Web 爬虫等场景中,我们常需控制并发量以避免资源过载或被目标站点限流。一个常见需求是:对 10 个链接发起请求,但最多同时打开 3 个页面;前 3 个完成后再启动接下来的 3 个,依此类推。这本质上是「分组并发 + 组间串行」模式。
关键误区在于:Promise 一旦被创建(例如调用 async 函数),其内部异步操作即刻开始执行。因此,若先对全部链接生成 Promise 数组再分组 await Promise.all(),所有爬取请求其实早已并发发出——分组 await 只是等待结果,并不能约束执行时机。
✅ 正确做法是:延迟 Promise 的创建,仅在处理当前批次时才构造该批次的 Promise。
以下是完整、可直接使用的实现方案:
1. 工具函数:数组分块(Chunking)
links.map(...)










