
本文详解如何将 promise 列表按指定大小分组,确保每组内异步任务并行执行、各组之间严格串行执行——关键在于延迟 promise 的创建而非仅延迟 await,避免任务提前“飞出”。
本文详解如何将 promise 列表按指定大小分组,确保每组内异步任务并行执行、各组之间严格串行执行——关键在于延迟 promise 的创建而非仅延迟 await,避免任务提前“飞出”。
在 Web 爬虫等 I/O 密集型场景中,我们常需控制并发量:既不能让全部请求瞬间发出(易被限流或压垮目标服务),也不能完全串行(效率过低)。理想策略是 “组内并行 + 组间串行” ——例如 10 个链接,按每组 3 个拆分为 [[0,1,2], [3,4,5], [6,7,8], [9]],第 0–2 个链接同时发起请求,全部完成后,再同时发起第 3–5 个,依此类推。
但常见误区是:先一次性创建所有 Promise(如 links.map(() => fetch(...))),再用 Promise.all() 分批 await。这是无效的——因为 Promise 构造函数一旦执行,内部异步操作(如 HTTP 请求)便立即启动,await Promise.all(group) 只是等待结果,并不能阻止前序 Promise 提前运行。
✅ 正确解法:按需创建 Promise,即在每个 group 循环体内才生成该组对应的 Promise 数组。
以下是完整、健壮的实现:
// 工具函数:将任意数组切分为固定大小的子数组(不修改原数组)
export function chunkArray<t>(array: T[], size: number): T[][] {
if (size = 1");
const result: T[][] = [];
for (let i = 0; i {
const allResults: MyData[] = [];
const linkChunks = chunkArray(links, 3); // 每组最多 3 个链接
for (const chunk of linkChunks) {
// ✅ 关键:仅在此处创建当前 chunk 的 Promise,确保前一组完成才开始下一组
const promisesInChunk = chunk.map(async (link) => {
try {
const newPage = await page.browser().newPage();
const detail = await crawlLink(link, newPage);
await newPage.close();
return detail;
} catch (err) {
console.error(`Failed to crawl ${link}:`, err);
return null as MyData;
}
});
// 等待本组所有 Promise 完成
const resultsInChunk = await Promise.all(promisesInChunk);
// 过滤掉 null 结果并合并到总结果
const validResults = resultsInChunk.filter((r): r is MyData => r !== null);
allResults.push(...validResults);
}
return allResults;
}</t>
? 注意事项与最佳实践:
-
永远避免提前实例化 Promise:
const promises = links.map(...)是危险信号;应改为chunk.map(...)在循环内动态生成。 -
错误处理要粒度适中:单个链接失败不应中断整组,因此
try/catch放在每个 Promise 内部,而非包裹Promise.all()。 -
资源清理不可省略:如示例中的
newPage.close(),防止 Puppeteer 页面泄漏。 -
可扩展性建议:可将
chunkSize和crawlLink抽为参数,提升函数复用性;对超大链接列表,还可增加进度日志或失败重试逻辑。
通过这种结构,你既能有效控制并发压力,又能保证执行顺序清晰可控——这才是真正意义上的“分组调度”。










