如何高效并发执行数万次数据库查询：避免 Promise.all 前的构造瓶颈-js教程-PHP中文网

如何高效并发执行数万次数据库查询：避免 Promise.all 前的构造瓶颈

在 aws lambda 中批量发起 3.5 万+ 数据库查询时，若直接用循环生成 promise 数组再调用 promise.all，构造阶段可能耗时远超实际请求执行时间（如 25s vs 15s）；根本原因在于同步创建大量待决 promise 会触发 v8 引擎开销及内存压力，而非真正“轻量”。

在 aws lambda 中批量发起 3.5 万+ 数据库查询时，若直接用循环生成 promise 数组再调用 promise.all，构造阶段可能耗时远超实际请求执行时间（如 25s vs 15s）；根本原因在于同步创建大量待决 promise 会触发 v8 引擎开销及内存压力，而非真正“轻量”。

你的原始代码存在两个关键性能陷阱：

同步构造海量 Promise 实例：for (let i = 0; i
无节制并发导致资源过载：Promise.all(promises) 会一次性触发全部 3.5 万次 DynamoDB 查询，远超 Lambda 网络连接池、DynamoDB 读取容量及下游服务承受能力，不仅延迟激增，还可能触发限流或超时。

✅ 正确解法是：控制并发数 + 流式调度 + 复用连接。以下为优化后的生产就绪实现：

const { DynamoDBDocumentClient, QueryCommand } = require('@aws-sdk/lib-dynamodb');
const { DynamoDBClient } = require('@aws-sdk/client-dynamodb');

// 复用客户端（避免重复初始化）
const docClient = DynamoDBDocumentClient.from(
  new DynamoDBClient({ region: 'us-east-1' })
);

// 分页获取所有匹配项（单次 querymetadata 不再递归拉取全量）
const fetchItemsByDeviceId = async (deviceId) => {
  const params = {
    TableName: 'YourTable',
    KeyConditionExpression: 'device_id = :device_id',
    ExpressionAttributeValues: { ':device_id': deviceId }
  };

  let allItems = [];
  let lastKey = undefined;

  do {
    const command = new QueryCommand({ ...params, ExclusiveStartKey: lastKey });
    const { Items, LastEvaluatedKey } = await docClient.send(command);
    allItems = allItems.concat(Items || []);
    lastKey = LastEvaluatedKey;
  } while (lastKey);

  return allItems;
};

// 并发控制器：固定窗口大小，流式提交任务
const runWithConcurrency = async (tasks, concurrency = 10) => {
  const results = [];
  const executing = new Set();

  for (const task of tasks) {
    const promise = task()
      .then(res => {
        results.push(res);
        return res;
      })
      .finally(() => executing.delete(promise));

    executing.add(promise);

    // 阻塞直到有空闲槽位
    if (executing.size >= concurrency) {
      await Promise.race(executing);
    }
  }

  // 等待剩余任务完成
  await Promise.all(executing);
  return results;
};

// Lambda 主函数
exports.handler = async (event, context) => {
  console.time('total-execution');
  console.time('promise-construction');

  // ✅ 仅生成任务函数数组（不立即执行），每个函数是惰性 Promise 工厂
  const tasks = Array.from({ length: 35000 }, (_, i) => 
    () => fetchItemsByDeviceId(`EK${String(i + 431).padStart(3, '0')}`)
  );

  console.timeEnd('promise-construction'); // 通常 <p>? <strong>关键优化点说明</strong>：</p><div class="aritcle_card flexRow artxards">
											<div class="artcardd flexRow">
												<a class="aritcle_card_img" rel="nofollow" href="/ai/1182" title="AI建筑知识问答"><img
														src="https://img.php.cn/upload/ai_manual/001/431/639/68b7af235f31d971.png" alt="AI建筑知识问答" onerror="this.onerror='';this.src='/static/lhimages/moren/morentu.png'" ></a>
												<div class="aritcle_card_info flexColumn">
													<a rel="nofollow" href="/ai/1182" title="AI建筑知识问答" class="overflowclass">AI建筑知识问答</a>
													<p class="overflowclass">AI建筑知识问答是一款面向办公、学习与创作场景的 AI 工具。</p>
												</div>
												<a rel="nofollow" href="/ai/1182" title="AI建筑知识问答" class="aritcle_card_btn flexRow flexcenter"><b></b><span>下载</span>
												</a>
											</div>
										</div>

惰性 Promise 构造：tasks 数组存储的是 () => fetchItemsByDeviceId(...) 函数，而非立即执行的 Promise，避免同步开销；
动态并发控制：runWithConcurrency 使用 Set 追踪运行中任务，并通过 Promise.race(executing) 实现“有空位才提交”，天然支持背压；
复用 SDK 客户端：全局复用 docClient，避免每次请求重建 HTTP 连接池；
合理并发阈值：Lambda 1GB 内存建议初始设为 5–20（根据 DynamoDB RCUs 和网络延迟调优），避免资源争抢；
错误隔离：单个查询失败不影响整体流程（可按需添加重试逻辑）。

⚠️ 注意事项：