PostgreSQL 15如何优化并行聚合查询

风晨同学_9766

风晨同学_9766

2026-07-21

315人浏览

原创

postgresql 15 并行聚合需手动配置三参数(max_worker_processes、max_parallel_workers、max_parallel_workers_per_gather)并验证explain (analyze, verbose)中gather节点、workers launched>0及执行时间优化,否则易oom或连接耗尽。

postgresql 15如何优化并行聚合查询

PostgreSQL 15 的并行聚合查询默认不会自动启用,即使表很大、CPU 多核空闲,Gather 节点也常不出现——这不是 bug,而是优化器基于成本估算的保守选择。必须手动干预参数、验证执行计划、并避开几个关键资源陷阱,否则容易引发连接耗尽或内存爆炸。

怎么确认并行聚合是否真被触发

仅看 EXPLAIN 不够,它只显示预估;必须用 EXPLAIN (ANALYZE, VERBOSE) 实际跑一次,并检查输出中三个硬指标:

  • Gather 或 Gather Merge 节点存在,且其子节点是 Parallel Aggregate、Parallel Seq Scan 或 Parallel Index Scan
  • Workers Launched 值大于 0(比如 Workers Launched: 3)
  • Actual Total Time 明显低于串行等效查询,且 Execution Time 中 leader 和 worker 时间分布合理(避免 leader 成为瓶颈)

常见误判:看到 Workers Planned: 2 但 Workers Launched: 0,说明系统因资源不足(如 max_parallel_workers 已满)或锁冲突拒绝启动 worker。

必须调的三个参数及其取值逻辑

PostgreSQL 15 中并行聚合依赖三层资源配额,缺一不可,且顺序不能颠倒:

  • max_worker_processes:整个实例允许的最大后台进程数。Aurora PostgreSQL 默认为 8,建议设为 CPU 核心数 × 2(如 16 核 → 设 32),否则后续参数再大也无效
  • max_parallel_workers:专供并行操作(含并行聚合、并行扫描等)的进程上限。必须 ≤ max_worker_processes,生产环境建议设为 CPU 核心数(如 16 核 → 设 16)
  • max_parallel_workers_per_gather:单个 Gather 节点最多能拉起几个 worker。默认为 2,对聚合类查询通常需提高到 4~6;但切勿设 ≥ 8 —— 每个 worker 占用独立 work_mem,4 个 worker × 64 MB = 256 MB 内存/查询,极易触发 OOM

修改后必须执行 SELECT pg_reload_conf() 生效,无需重启。

AiBiao
AiBiao

一款AI数据处理工具,主要用于一键生成图表的AI工具,适合需要提升相关任务效率的用户。

下载

为什么 GROUP BY + ORDER BY 容易失败或变慢

并行聚合在 PostgreSQL 15 中对排序敏感:如果 GROUP BY 列未被索引覆盖,或 ORDER BY 与分组键不一致,优化器大概率放弃并行计划,退回到串行 HashAggregate 或更糟的 Sort + GroupAggregate。

  • 确保 GROUP BY 字段有联合索引,例如 CREATE INDEX idx_orders_status_user ON orders (status, user_id)
  • 避免在聚合后加 ORDER BY,除非必要;若必须,让 ORDER BY 字段包含在 GROUP BY 中,或使用 Gather Merge(需底层数据已按该字段物理排序)
  • 检查 work_mem 是否足够:并行聚合中每个 worker 都需要自己的 work_mem 做哈希表,leader 还要额外一份做最终合并。总内存消耗 ≈ (max_parallel_workers_per_gather + 1) × work_mem

一个典型翻车场景:SELECT COUNT(*), AVG(amount) FROM sales GROUP BY region ORDER BY COUNT(*) DESC —— 若 region 无索引,且 sales 表达 50 GB,则即使开了并行,也可能因哈希溢出到磁盘而比串行还慢。

OLTP 场景下并行聚合的风险点

高并发事务型负载中,并行聚合不是“开就完事”,它会直接冲击连接池和锁管理:

  • 每个并行 worker 占用一个 max_connections 槽位(Aurora 中即一个连接槽),一个查询最多消耗 max_parallel_workers_per_gather + 1 个连接。若设为 4,单个查询就吃掉 5 个连接;10 个并发查询即可打满 50 连接池
  • 并行扫描期间仍受 MVCC 快照约束,worker 之间可能因读取同一数据页产生额外缓冲区竞争,EXPLAIN (ANALYZE, BUFFERS) 中若 Shared Hit 比例骤降、Shared Read 激增,就是信号
  • 统计信息过期会导致优化器误判:膨胀率 > 20% 的表,min_parallel_table_scan_size 可能失效,建议在业务低峰期定期执行 ANALYZE table_name

真正安全的做法是:只对凌晨报表、离线特征计算等低频、长时、独占资源的查询开启并行;OLTP 接口 SQL 建议显式禁用,用 SET LOCAL max_parallel_workers_per_gather = 0 控制粒度。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
大数据分析工具有哪四个
大数据分析工具有哪四个

大数据分析的四个工具分别是rapidminer、Hpcc、Hadoop和Pentaho bi。大数据分析用于从各种来源生成的原始数据中提取有价值的数据。这些数据帮助我们获得有意义的见解、隐藏的模式、未知的相关性、市场趋势等等,具体取决于行业。大数据分析的主要动机是提供有价值的见解,以便为未来做出更好的决策。php中文网为大家带来了大数据分析的相关教程、以及相关文章等内容,供大家免费下载使用。

2023.06.21

4096

5

Java 大数据处理基础(Hadoop 方向)
Java 大数据处理基础(Hadoop 方向)

本专题聚焦 Java 在大数据离线处理场景中的核心应用,系统讲解 Hadoop 生态的基本原理、HDFS 文件系统操作、MapReduce 编程模型、作业优化策略以及常见数据处理流程。通过实际示例(如日志分析、批处理任务),帮助学习者掌握使用 Java 构建高效大数据处理程序的完整方法。

2025.12.08

1209

12

大数据专业学习教程
大数据专业学习教程

本专题整合了大数据专业学习相关教程,阅读专题下面的文章了解更多详细内容。

2026.01.05

223

5

python处理大数据合集
python处理大数据合集

本专题整合了python处理大数据相关教程,阅读专题下面的文章了解更多详细内容。

2026.01.05

426

22

postgresql常用命令
postgresql常用命令

postgresql常用命令psql、createdb、dropdb、createuser、dropuser、\l、\c、\dt、\d table_name、\du、\i file_name、\e和\q等。本专题为大家提供postgresql相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.10

213

5

常用的数据库软件
常用的数据库软件

常用的数据库软件有MySQL、Oracle、SQL Server、PostgreSQL、MongoDB、Redis、Cassandra、Hadoop、Spark和Amazon DynamoDB。更多关于数据库软件的内容详情请看本专题下面的文章。php中文网欢迎大家前来学习。

2023.11.02

4089

19

postgresql常用命令有哪些
postgresql常用命令有哪些

postgresql常用命令psql、createdb、dropdb、createuser、dropuser、\l、\c、\dt、\d table_name、\du、\i file_name、\e和\q等。更详细的postgresql常用命令,大家可以访问下面的文章。

2023.11.16

607

3

postgresql常用命令介绍
postgresql常用命令介绍

postgresql常用命令有\l、\d、\d5、\di、\ds、\dv、\df、\dn、\db、\dg、\dp、\c、\pset、show search_path、ALTER TABLE、INSERT INTO、UPDATE、DELETE FROM、SELECT等。想了解更多postgresql的相关内容,可以阅读本专题下面的文章。

2023.11.20

1356

6

PostgreSQL性能优化与索引调优实战
PostgreSQL性能优化与索引调优实战

本专题面向后端开发与数据库工程师,深入讲解 PostgreSQL 查询优化原理与索引机制。内容包括执行计划分析、常见索引类型对比、慢查询优化策略、事务隔离级别以及高并发场景下的性能调优技巧。通过实战案例解析,帮助开发者提升数据库响应速度与系统稳定性。

2026.02.12

440

19

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
phpStudy极速入门视频教程
phpStudy极速入门视频教程

共6课时 | 54.6万人学习

独孤九贱(4)_PHP视频教程
独孤九贱(4)_PHP视频教程

共89课时 | 133.2万人学习