
本文讲解如何将一组异步任务(如网页爬取)划分为多个批次,确保每批内的 promise 并行执行,而各批次之间严格串行执行,避免因提前创建 promise 导致的并发失控问题。
本文讲解如何将一组异步任务(如网页爬取)划分为多个批次,确保每批内的 promise 并行执行,而各批次之间严格串行执行,避免因提前创建 promise 导致的并发失控问题。
在 Web 爬虫等 I/O 密集型场景中,我们常需平衡效率与资源压力:完全串行太慢,完全并行又可能触发反爬机制或耗尽浏览器页签/连接数。理想的策略是分组并发——例如每 3 个链接组成一批,并行抓取该批所有页面;待整批完成后再启动下一批。但关键陷阱在于:Promise 一旦被创建(即调用 async 函数),其内部异步操作便立即开始执行。若先批量构造所有 Promise 再分组 await,实际仍是全量并发。
因此,正确做法是:延迟 Promise 的创建时机,仅在处理当前批次时才生成对应 Promise 数组。这意味着分组逻辑必须作用于原始数据(如 string[] 链接列表),而非已创建的 Promise[]。
以下是实现该模式的核心步骤与代码:
✅ 正确的分组工具函数(作用于原始数组)
links.map(() => asyncFn())











