Java 中 JDBC 怎么在处理事务批量提交时精细控制每五千条数据刷盘一次

冷炫風刃

冷炫風刃

2026-08-03

239人浏览

原创

java中jdbc实现“每五千条数据刷盘一次”的批量提交,需关闭自动提交、分批addbatch并executebatch+commit,配合rewritebatchedstatements=true参数提升mysql性能,同时注意clearbatch、异常回滚与内存控制。

java 中 jdbc 怎么在处理事务批量提交时精细控制每五千条数据刷盘一次

Java 中 JDBC 实现“每五千条数据刷盘一次”的批量提交,核心在于两层控制:一是用 addBatch() 积累语句,二是用 executeBatch() + commit() 分段执行与持久化。这里的“刷盘”实际指事务提交(commit()),它会触发数据库将日志写入磁盘(如 MySQL 的 redo log fsync),确保数据持久化。

设置手动事务并分批提交

默认情况下 JDBC 是自动提交模式,每条 SQL 执行完立刻落盘。要实现精细控制,必须关闭自动提交,并在每满 5000 条时显式提交:

  • 调用 conn.setAutoCommit(false) 禁用自动提交
  • 循环中逐条设置参数、调用 ps.addBatch()
  • 每累计到 5000 条(即 i % 5000 == 0),执行 ps.executeBatch()conn.commit()
  • 每次执行后调用 ps.clearBatch() 清空缓存,避免重复执行
  • 循环结束后,检查是否还有剩余未提交的语句(如总数不是 5000 的整数倍),再执行一次 executeBatch() + commit()

注意 MySQL 驱动的 rewriteBatchedStatements 参数

仅靠 JDBC 的 addBatch 默认不会真正合并为一条 SQL 发送给 MySQL;它只是客户端批量发送多条独立语句。若想让 MySQL 服务端真正以 INSERT ... VALUES (...), (...), (...) 形式高效执行,需在 JDBC URL 中启用优化:

务必添加参数:?rewriteBatchedStatements=true

Java JDK 25
Java JDK 25

Java JDK 25 来自 OpenJDK 官方归档,版本为 JDK 25,本条下载地址已指向官方 Windows x64 zip 安装包直链,适合调试旧项目或兼容旧版 Java 运行环境。

下载

例如:
jdbc:mysql://localhost:3306/test?rewriteBatchedStatements=true&useSSL=false

否则即使你调用了 executeBatch(),抓包可见仍是 5000 条独立 INSERT,性能提升有限。

防内存溢出与异常回滚

处理大批量数据时,不能把全部 100 万条都攒在内存里再提交——容易 OOM。按 5000 条分段既是刷盘节奏,也是内存安全策略:

  • 每批执行后立即 clearBatch(),释放 PreparedStatement 内部缓冲
  • 外层 try-catch 包裹整个流程,捕获 BatchUpdateExceptionSQLException
  • 发生异常时,调用 conn.rollback() 回退当前批次(注意:只回退尚未 commit 的那部分)
  • 建议配合连接池使用,并确保连接未被超时中断

完整关键代码片段

(省略资源关闭等样板,聚焦逻辑)

Connection conn = dataSource.getConnection();
conn.setAutoCommit(false);
PreparedStatement ps = conn.prepareStatement("INSERT INTO t_user(name, age) VALUES (?, ?)");

for (int i = 0; i   ps.setString(1, "user" + i);
  ps.setInt(2, i % 100);
  ps.addBatch();

  if ((i + 1) % 5000 == 0) {
    ps.executeBatch();
    conn.commit();
    ps.clearBatch();
  }
}
// 提交剩余不足 5000 条的部分
if (totalRecords % 5000 != 0) {
  ps.executeBatch();
  conn.commit();
}

Java免费学习笔记:立即使用
解锁 Java 大师之旅:从入门到精通的终极指南

相关专题

更多
java
java

Java是一个通用术语,用于表示Java软件及其组件,包括“Java运行时环境 (JRE)”、“Java虚拟机 (JVM)”以及“插件”。php中文网还为大家带了Java相关下载资源、相关课程以及相关文章等内容,供大家免费下载使用。

2023.06.15

3863

6

java正则表达式语法
java正则表达式语法

java正则表达式语法是一种模式匹配工具,它非常有用,可以在处理文本和字符串时快速地查找、替换、验证和提取特定的模式和数据。本专题提供java正则表达式语法的相关文章、下载和专题,供大家免费下载体验。

2023.07.05

2838

9

java自学难吗
java自学难吗

Java自学并不难。Java语言相对于其他一些编程语言而言,有着较为简洁和易读的语法,本专题为大家提供java自学难吗相关的文章,大家可以免费体验。

2023.07.31

2875

8

java配置jdk环境变量
java配置jdk环境变量

Java是一种广泛使用的高级编程语言,用于开发各种类型的应用程序。为了能够在计算机上正确运行和编译Java代码,需要正确配置Java Development Kit(JDK)环境变量。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.08.01

637

3

java保留两位小数
java保留两位小数

Java是一种广泛应用于编程领域的高级编程语言。在Java中,保留两位小数是指在进行数值计算或输出时,限制小数部分只有两位有效数字,并将多余的位数进行四舍五入或截取。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.08.02

602

3

java基本数据类型
java基本数据类型

java基本数据类型有:1、byte;2、short;3、int;4、long;5、float;6、double;7、char;8、boolean。本专题为大家提供java基本数据类型的相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.02

706

5

java有什么用
java有什么用

java可以开发应用程序、移动应用、Web应用、企业级应用、嵌入式系统等方面。本专题为大家提供java有什么用的相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.02

1316

5

java在线网站
java在线网站

Java在线网站是指提供Java编程学习、实践和交流平台的网络服务。近年来,随着Java语言在软件开发领域的广泛应用,越来越多的人对Java编程感兴趣,并希望能够通过在线网站来学习和提高自己的Java编程技能。php中文网给大家带来了相关的视频、教程以及文章,欢迎大家前来学习阅读和下载。

2023.08.03

18845

3

配置java环境变量
配置java环境变量

配置Java环境变量是为了让操作系统能够识别和使用Java的相关命令和功能。本专题为大家提供配置java环境变量相关文章,帮助大家解决问题。

2023.08.03

647

8

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Java JDBC数据库连接官方教程
Java JDBC数据库连接官方教程

共0课时 | 0人学习

Servlet基础教程
Servlet基础教程

共24课时 | 31万人学习