Oracle 19c中SQL如何高效处理超大规模分组聚合写入

云婷酱_2218

云婷酱_2218

2026-11-12

155人浏览

原创

必须在WHERE阶段过滤数据,而非依赖HAVING;GROUP BY前加WHERE可大幅减少哈希分组内存压力,索引可加速扫描;ROLLUP配合GROUPING()优于UNION ALL;NULL值须用NVL/COALESCE显式处理;大批量聚合写入需控制FORALL批大小(500–2000行)并关闭AUTOCOMMIT。

oracle 19c中sql如何高效处理超大规模分组聚合写入

GROUP BY 前必须加 WHERE 过滤,别等 HAVING

分组聚合慢,80% 是因为没在 WHERE 阶段砍掉无效数据。Oracle 19c 的哈希分组(HASH GROUP BY)会把所有满足 FROM 条件的行全加载进 PGA 内存做中间聚合,哪怕你最终只想要 dept_id IN (10,20) 的结果。

错误写法:SELECT dept_id, COUNT(*) FROM sales GROUP BY dept_id HAVING dept_id IN (10,20) → 所有千万级销售记录都进了内存再筛

正确做法是把条件前移到 WHERE:SELECT dept_id, COUNT(*) FROM sales WHERE dept_id IN (10,20) GROUP BY dept_id

  • 哪怕只过滤掉 3% 的原始数据,也能降低哈希表大小和临时段写入压力
  • 如果 dept_id 上有索引,WHERE 还能触发索引快速路径扫描(INDEX RANGE SCAN),跳过大量块读
  • HAVING 只适合依赖聚合结果的条件,比如 HAVING COUNT(*) > 1000

用 ROLLUP 替代 UNION ALL 多级分组,但得配 GROUPING()

要同时输出“按月”“按月+产品线”“总计”三层结果,别手写三个 UNION ALL 子句。Oracle 19c 对 ROLLUP 有专用优化路径,实测比手工拼接快 20%~40%。

示例:GROUP BY ROLLUP(month_id, product_line) 生成三组:(month_id, product_line)、(month_id, NULL)、(NULL, NULL)

  • 必须用 GROUPING(month_id) 和 GROUPING(product_line) 判断哪一列是小计占位符,不能直接判 IS NULL —— 原始数据里真有 NULL 值时会混淆
  • 推荐写法:CASE WHEN GROUPING(month_id) = 1 THEN 'TOTAL' ELSE TO_CHAR(month_id) END AS month_label
  • 如果字段本身基数低(如 product_line 只有 5 个值),且建了位图索引,ROLLUP 还可能触发 BITMAP INDEX SINGLE VALUE 扫描,进一步加速

NULL 分组值必须显式处理,NVL/COALESCE 不是可选项

分组字段含 NULL 时,Oracle 默认把所有 NULL 归为同一组。这看起来“省事”,但业务上往往意味着“未填写”“未知”“待分配”,不该和任何真实维度混在一起。

QuantOracle
QuantOracle

63个确定性量化金融计算器 + 10个通过MCP的复合工作流。期权定价、Greeks、奇异衍生品、风险指标、投资组合优化……

下载

错误写法:GROUP BY region → 所有 region IS NULL 行被强行塞进一组,且无法回溯来源

正确写法:GROUP BY COALESCE(region, 'UNKNOWN', 'N/A') 或 GROUP BY NVL(region, 'UNASSIGNED')

  • COALESCE 更标准、支持多备选值;NVL 在 Oracle 中性能几乎无差别,但只认两个参数
  • 副作用:原列上的普通索引失效,除非你额外建函数索引,比如 CREATE INDEX idx_region_nvl ON sales(NVL(region, 'UNASSIGNED'))
  • 如果后续还要对分组结果做 ORDER BY,注意 'UNKNOWN' 字符串会影响排序位置,必要时用 CASE 控制顺序

大批量聚合写入时,FORALL + BULK COLLECT 要控制批大小

当聚合结果要批量插入另一张表(比如每日汇总写入 sales_daily_agg),别用单条 INSERT 循环,也别一股脑 BULK COLLECT 全部内存 —— PGA 溢出或游标失效风险极高。

实测甜点区间是每批 500~2000 行:

  • 超过 2000,PGA 内存占用陡增,尤其目标表有 3+ 索引或触发器时,性能优势迅速归零
  • 务必关掉 AUTOCOMMIT,否则每批 FORALL 后自动提交,退化成单条执行
  • 启用 SAVE EXCEPTIONS 时,SQL%BULK_EXCEPTIONS(i).ERROR_INDEX 返回的是当前批内序号(从 1 开始),不是原始集合下标,取错记录很常见

复杂点在于:分组维度多、NULL 处理逻辑嵌套、ROLLUP 层级判断、批处理边界与事务一致性的平衡——这些地方一旦漏掉一层判断,结果就不可逆。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

oracle

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
数据分析工具有哪些
数据分析工具有哪些

数据分析工具有Excel、SQL、Python、R、Tableau、Power BI、SAS、SPSS和MATLAB等。详细介绍:1、Excel,具有强大的计算和数据处理功能;2、SQL,可以进行数据查询、过滤、排序、聚合等操作;3、Python,拥有丰富的数据分析库;4、R,拥有丰富的统计分析库和图形库;5、Tableau,提供了直观易用的用户界面等等。

2023.10.12

4943

8

SQL中distinct的用法
SQL中distinct的用法

SQL中distinct的语法是“SELECT DISTINCT column1, column2,...,FROM table_name;”。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.27

1011

4

SQL中months_between使用方法
SQL中months_between使用方法

在SQL中,MONTHS_BETWEEN 是一个常见的函数,用于计算两个日期之间的月份差。想了解更多SQL的相关内容,可以阅读本专题下面的文章。

2024.02.23

1289

5

SQL出现5120错误解决方法
SQL出现5120错误解决方法

SQL Server错误5120是由于没有足够的权限来访问或操作指定的数据库或文件引起的。想了解更多sql错误的相关内容,可以阅读本专题下面的文章。

2024.03.06

6981

10

sql procedure语法错误解决方法
sql procedure语法错误解决方法

sql procedure语法错误解决办法:1、仔细检查错误消息;2、检查语法规则;3、检查括号和引号;4、检查变量和参数;5、检查关键字和函数;6、逐步调试;7、参考文档和示例。想了解更多语法错误的相关内容,可以阅读本专题下面的文章。

2024.03.06

3643

4

oracle数据库运行sql方法
oracle数据库运行sql方法

运行sql步骤包括:打开sql plus工具并连接到数据库。在提示符下输入sql语句。按enter键运行该语句。查看结果,错误消息或退出sql plus。想了解更多oracle数据库的相关内容,可以阅读本专题下面的文章。

2024.04.07

6980

11

sql中where的含义
sql中where的含义

sql中where子句用于从表中过滤数据,它基于指定条件选择特定的行。想了解更多where的相关内容,可以阅读本专题下面的文章。

2024.04.29

9721

6

sql中删除表的语句是什么
sql中删除表的语句是什么

sql中用于删除表的语句是drop table。语法为drop table table_name;该语句将永久删除指定表的表和数据。想了解更多sql的相关内容,可以阅读本专题下面的文章。

2024.04.29

1310

5

sql中删除一列的命令是什么
sql中删除一列的命令是什么

在sql中,使用alter table语句可以删除一列,语法为:alter table table_name drop column column_name。想了解更多sql的相关内容,可以阅读本专题下面的文章。

2024.04.29

1152

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程