
本文讲解如何将一组异步任务(如网页爬取)划分为固定大小的组,确保每组内任务并行执行、组与组之间严格串行,避免因提前创建 promise 导致的“全部立即触发”问题。
本文讲解如何将一组异步任务(如网页爬取)划分为固定大小的组,确保每组内任务并行执行、组与组之间严格串行,避免因提前创建 promise 导致的“全部立即触发”问题。
在 Web 爬虫等 I/O 密集型场景中,我们常需控制并发粒度:既要避免单个请求串行导致效率低下,又要防止无限制并发压垮目标服务或耗尽浏览器页签资源。理想策略是 “组内并行 + 组间串行” —— 即每 3 个链接组成一组,该组内 3 个爬取任务同时启动;待整组全部完成后再启动下一组。
关键误区在于:Promise 一旦被创建(如调用 async 函数),其内部异步操作便已开始执行。因此,若先对全部链接生成 Promise[],再分组 await Promise.all(group),实际所有请求早已并发发出——分组 await 只是等待结果,并不能控制执行时机。
✅ 正确做法是:延迟 Promise 的创建,仅在处理当前组时,才为该组链接动态生成 Promise 数组。
以下是完整、可直接使用的实现方案:
1. 通用数组分块工具函数
links.map(...)











