
本文讲解如何将一组异步任务(如网页爬取)划分为多个批次,使每个批次内的 promise 并行执行,而批次之间严格串行执行,避免资源过载与竞态问题。
本文讲解如何将一组异步任务(如网页爬取)划分为多个批次,使每个批次内的 promise 并行执行,而批次之间严格串行执行,避免资源过载与竞态问题。
在 Web 爬虫等 I/O 密集型场景中,直接 Promise.all() 所有任务会导致瞬时并发过高(如同时打开 10 个浏览器页签),易触发反爬机制或耗尽系统资源;而完全串行(for...of + await)又严重降低效率。理想的折中方案是:按固定大小分组,组内并行、组间串行。
关键认知在于:Promise 一旦被创建(即调用异步函数返回 Promise 实例),其内部逻辑便已启动。因此,若先创建全部 Promise 再分组 await Promise.all(group),实际所有请求早已发出——分组 await 只是等待结果,并不能控制执行时机。
✅ 正确做法是:延迟 Promise 的创建,仅在处理当前批次时才构造该批次的 Promise 数组。
以下是完整实现:
1. 通用数组分块工具函数
links.map(async () => ...)











