如何在Java中批量更新Oracle中的千万级数据_利用JDBC批处理与分批提交策略

大辰酱_7725

大辰酱_7725

2026-05-26

721人浏览

原创

必须关闭 connection.setAutoCommit(false),否则 Oracle JDBC 批量更新退化为单条执行,性能崩盘且易锁表;需手动 commit()/rollback(),分批控制在 500–5000 行,用 PreparedStatement.addBatch() 并 clearBatch(),禁用 Statement 拼接,优先 ROWID 更新,分页用 ROWNUM 或 OFFSET FETCH,多线程需独占连接与数据分片。

必须关闭 connection.setAutoCommit(false)

oracle jdbc 批量更新不关自动提交,addbatch() 就是白忙——它只缓存在 preparedstatement 内部,等你调用 executebatch() 才真正发包;但驱动默认开启 autocommit,一执行就隐式 commit,批量退化成单条,性能崩盘还容易锁表。

显式关闭后,必须配套手动 commit() 或 rollback(),否则连接长期挂起,可能被连接池回收或阻塞其他事务。

  • 别在 finally 块里无条件 commit():出异常时该回滚,不是硬提交
  • 若用连接池(如 HikariCP),确保连接未被提前归还;建议用 try-with-resources 管理 PreparedStatement,但 Connection 生命周期需自己把控
  • 事务太长会撑大 UNDO 表空间,单批控制在 500–5000 行较稳妥(视单行数据大小和索引复杂度而定)

PreparedStatement.addBatch() 是唯一安全入口

别用 Statement.addBatch() 拼 SQL 字符串——Oracle 对动态拼接批量语句支持极差,极易触发绑定变量缺失、硬解析爆炸、ORA-01000(游标超限)等问题。

必须用 PreparedStatement,占位符统一,驱动才能复用执行计划。注意两个典型坑:

  • SQL 字符串末尾不能带分号,否则必报 ORA-00911: invalid character;例如 "UPDATE t SET x = ? WHERE id = ?;" 要改成 "UPDATE t SET x = ? WHERE id = ?"
  • 循环中复用同一 PreparedStatement 时,每次 executeBatch() 后建议显式调用 clearBatch(),避免旧批次残留干扰下一轮
  • 批量太大(如单次 > 1000 条)易触发 JVM 堆内存压力或 Oracle 游标上限,推荐每 500 条 executeBatch() 一次,再 clearBatch()

千万级必须分批拉取 + 分批更新,不能全查进内存

直接 SELECT * 百万行进 ResultSet,JVM 很快 OOM;Oracle 端也会因 PGA 过载触发 ORA-04030。正确做法是服务端分页拉取 + 客户端分批更新双结合。

推荐用 ROWNUM 或 OFFSET FETCH(Oracle 12c+)切片,每次最多取 10000 行(setFetchSize(10000) 可减少网络往返),处理完立即更新并 commit():

java-api-doc-generator
java-api-doc-generator

分析 Java Spring Boot 后端 Controller 代码,自动生成 Markdown 格式的接口文档。当用户说“生成 Java 接口文档”、“生成 API 文档”、“从 Spring 代码生成文档”时触发。

下载
String sql = "SELECT rowid, id, status FROM users WHERE status = 'D' AND ROWNUM 
  • 用 ROWID 更新比主键更高效,尤其在无合适索引时;但注意 ROWID 在表移动、分区分裂后会失效,生产环境需评估稳定性
  • 避免在 SQL 中写死 WHERE ... AND ROWNUM 做分页,它无法跳过前 N 行;真要跳页得用嵌套查询或 OFFSET
  • 如果更新条件本身能走索引,且数据分布均匀,可考虑按主键范围分片(如 id BETWEEN ? AND ?),更可控

多线程并行更新要防连接/事务/资源争用

单线程跑千万级更新太慢,但盲目开多线程容易翻车:连接数爆满、UNDO 表空间抢夺、甚至死锁。关键不是线程数越多越好,而是让每个线程独占连接 + 独立事务 + 数据互斥。

实操建议:

  • 每个线程持有一个独立 Connection(从连接池获取,用完 close 归还),不要共享 connection 或 statement
  • 数据分片必须不重不漏:用主键/ROWID 区间划分,或预生成分片 ID 列表(如先查出所有待更新 ROWID 存入临时表,再用 ROWNUM 分配给各线程)
  • 线程数建议 ≤ 数据库 CPU 核数 × 2;超过反而因上下文切换和锁竞争拖慢整体速度
  • 加监控:捕获 SQLException 中的 getErrorCode(),重点拦截 ORA-00060(死锁)、ORA-01555(快照过旧)等,失败批次应记录日志并可重试

最易被忽略的是:分批 commit 后,UNDO 段不会立刻释放,高并发下可能快速耗尽;务必确认数据库 UNDO_RETENTION 设置合理,并观察 v$undostat 视图。

Java免费学习笔记:立即使用
解锁 Java 大师之旅:从入门到精通的终极指南

相关专题

更多
java
java

Java是一个通用术语,用于表示Java软件及其组件,包括“Java运行时环境 (JRE)”、“Java虚拟机 (JVM)”以及“插件”。php中文网还为大家带了Java相关下载资源、相关课程以及相关文章等内容,供大家免费下载使用。

2023.06.15

11817

6

java正则表达式语法
java正则表达式语法

java正则表达式语法是一种模式匹配工具,它非常有用,可以在处理文本和字符串时快速地查找、替换、验证和提取特定的模式和数据。本专题提供java正则表达式语法的相关文章、下载和专题,供大家免费下载体验。

2023.07.05

8922

9

java自学难吗
java自学难吗

Java自学并不难。Java语言相对于其他一些编程语言而言,有着较为简洁和易读的语法,本专题为大家提供java自学难吗相关的文章,大家可以免费体验。

2023.07.31

7652

8

java配置jdk环境变量
java配置jdk环境变量

Java是一种广泛使用的高级编程语言,用于开发各种类型的应用程序。为了能够在计算机上正确运行和编译Java代码,需要正确配置Java Development Kit(JDK)环境变量。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.08.01

1264

3

java保留两位小数
java保留两位小数

Java是一种广泛应用于编程领域的高级编程语言。在Java中,保留两位小数是指在进行数值计算或输出时,限制小数部分只有两位有效数字,并将多余的位数进行四舍五入或截取。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.08.02

1008

3

java基本数据类型
java基本数据类型

java基本数据类型有:1、byte;2、short;3、int;4、long;5、float;6、double;7、char;8、boolean。本专题为大家提供java基本数据类型的相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.02

1496

5

java有什么用
java有什么用

java可以开发应用程序、移动应用、Web应用、企业级应用、嵌入式系统等方面。本专题为大家提供java有什么用的相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.02

3089

5

java在线网站
java在线网站

Java在线网站是指提供Java编程学习、实践和交流平台的网络服务。近年来,随着Java语言在软件开发领域的广泛应用,越来越多的人对Java编程感兴趣,并希望能够通过在线网站来学习和提高自己的Java编程技能。php中文网给大家带来了相关的视频、教程以及文章,欢迎大家前来学习阅读和下载。

2023.08.03

20351

3

配置java环境变量
配置java环境变量

配置Java环境变量是为了让操作系统能够识别和使用Java的相关命令和功能。本专题为大家提供配置java环境变量相关文章,帮助大家解决问题。

2023.08.03

1355

8

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程