Java 中 MyBatis 怎么利用 BatchExecutor 执行超大批量的高并发数据更新以压榨批处理网络性能

冬浩大大_7821

冬浩大大_7821

2026-07-27

142人浏览

原创

mybatis批量更新不支持高并发,batchexecutor本质是单线程串行批处理,通过addbatch()+executebatch()减少网络往返;提升吞吐需靠合理批大小(500–2000)、分片处理、连接池调优及jdbc参数优化,而非并发调用。

java 中 mybatis 怎么利用 batchexecutor 执行超大批量的高并发数据更新以压榨批处理网络性能

MyBatis 本身不直接支持高并发批量更新,BatchExecutor 的设计目标是单线程批处理,而非并发压测场景。它通过 JDBC 的 addBatch() + executeBatch() 减少网络往返,但本质仍是串行累积+一次性提交,无法“并发执行”批操作。想压榨批处理网络性能,关键不在并发调用 BatchExecutor,而在合理组织批大小、事务粒度与连接资源。

BatchExecutor 的真实作用:减少 round-trip,不是提升吞吐并发

BatchExecutor 把多条 SQL 缓存在内存中,等达到 batchSize(默认 1000)或显式调用 flushStatements() 时,才通过一次 executeBatch() 发送给数据库。这省去了每条语句单独网络交互的开销,但整个过程是单 Connection、单 Statement、单线程执行的。多个线程各自持有一个 SqlSession(配 BatchExecutor),相当于多个独立批处理通道——这是“并行批处理”,不是“并发执行同一批”。

  • 每个 SqlSession 绑定独立 Connection 和 PreparedStatement,互不干扰
  • 批大小建议设为 500–2000,太小起不到聚合效果,太大易 OOM 或触发数据库单次批上限(如 MySQL max_allowed_packet)
  • 务必手动调用 sqlSession.flushStatements() 触发实际执行,否则可能一直缓存不发

真正提升高并发批量更新吞吐的关键配置

网络性能瓶颈常出现在连接争抢、事务锁等待、JDBC 驱动参数不合理。BatchExecutor 只是其中一环:

java-enterprise
java-enterprise

Java企业开发专家,专注于Spring Boot、微服务架构和JVM优化。适用于:Java语言掌握、

下载
  • 连接池必须支持足够并发连接:HikariCP 设置 maximumPoolSize ≥ 并发批任务数,避免线程阻塞在 getConnection()
  • 关闭自动提交,手动控制事务边界:每个批对应一个事务(sqlSession.commit()),避免每条 SQL 自动 commit 带来的日志刷盘开销
  • JDBC URL 加上批处理优化参数:MySQL 示例:?rewriteBatchedStatements=true&useServerPrepStmts=false&cachePrepStmts=true,让驱动把多条 INSERT 合成一条多值语句发送
  • 慎用 SELECT FOR UPDATE 或复杂 WHERE 条件:批量 UPDATE 若带子查询或非索引条件,容易引发行锁升级或全表扫描,拖慢整体吞吐

超大批量更新的实用分片策略

单次提交几万甚至百万级记录?别硬扛。应主动拆分,结合业务逻辑做可控分片:

  • 按主键/时间范围切分数据(如 id % 100),每个分片由独立线程+独立 SqlSession 处理
  • 使用 ExecutorType.BATCH 创建 SqlSession,每个线程维护自己的批缓冲
  • 每个分片内再设二级批大小(如每 1000 条 flush 一次),防止单个分片内存溢出
  • 失败时可精确重试某一分片,而非全量回滚

替代方案:比 BatchExecutor 更适合高吞吐的路径

当数据量达百万级以上且对延迟敏感时,原生 MyBatis 批处理已非最优:

  • 直连 JDBC + rewriteBatchedStatements:绕过 MyBatis 框架开销,手写 PreparedStatement.addBatch(),性能更可控
  • 数据库原生批量导入工具:MySQL 的 LOAD DATA INFILE、PostgreSQL 的 COPY,速度比 JDBC 批处理快 5–10 倍
  • 异步消息 + 消费端合并写入:用 Kafka/RocketMQ 聚合变更事件,消费端按 key 分组+定时批量落库,削峰填谷

Java免费学习笔记:立即使用
解锁 Java 大师之旅:从入门到精通的终极指南

相关文章

数码产品性能查询
数码产品性能查询

该软件包括了市面上所有手机CPU,手机跑分情况,电脑CPU,电脑产品信息等等,方便需要大家查阅数码产品最新情况,了解产品特性,能够进行对比选择最具性价比的商品。

下载

相关标签:

redis spring框架 java

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
java
java

Java是一个通用术语,用于表示Java软件及其组件,包括“Java运行时环境 (JRE)”、“Java虚拟机 (JVM)”以及“插件”。php中文网还为大家带了Java相关下载资源、相关课程以及相关文章等内容,供大家免费下载使用。

2023.06.15

10697

6

java正则表达式语法
java正则表达式语法

java正则表达式语法是一种模式匹配工具,它非常有用,可以在处理文本和字符串时快速地查找、替换、验证和提取特定的模式和数据。本专题提供java正则表达式语法的相关文章、下载和专题,供大家免费下载体验。

2023.07.05

7822

9

java自学难吗
java自学难吗

Java自学并不难。Java语言相对于其他一些编程语言而言,有着较为简洁和易读的语法,本专题为大家提供java自学难吗相关的文章,大家可以免费体验。

2023.07.31

6792

8

java配置jdk环境变量
java配置jdk环境变量

Java是一种广泛使用的高级编程语言,用于开发各种类型的应用程序。为了能够在计算机上正确运行和编译Java代码,需要正确配置Java Development Kit(JDK)环境变量。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.08.01

1144

3

java保留两位小数
java保留两位小数

Java是一种广泛应用于编程领域的高级编程语言。在Java中,保留两位小数是指在进行数值计算或输出时,限制小数部分只有两位有效数字,并将多余的位数进行四舍五入或截取。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.08.02

948

3

java基本数据类型
java基本数据类型

java基本数据类型有:1、byte;2、short;3、int;4、long;5、float;6、double;7、char;8、boolean。本专题为大家提供java基本数据类型的相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.02

1396

5

java有什么用
java有什么用

java可以开发应用程序、移动应用、Web应用、企业级应用、嵌入式系统等方面。本专题为大家提供java有什么用的相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.02

2809

5

java在线网站
java在线网站

Java在线网站是指提供Java编程学习、实践和交流平台的网络服务。近年来,随着Java语言在软件开发领域的广泛应用,越来越多的人对Java编程感兴趣,并希望能够通过在线网站来学习和提高自己的Java编程技能。php中文网给大家带来了相关的视频、教程以及文章,欢迎大家前来学习阅读和下载。

2023.08.03

20111

3

配置java环境变量
配置java环境变量

配置Java环境变量是为了让操作系统能够识别和使用Java的相关命令和功能。本专题为大家提供配置java环境变量相关文章,帮助大家解决问题。

2023.08.03

1235

8

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Spring Boot 官方快速入门指南
Spring Boot 官方快速入门指南

共0课时 | 0人学习

Spring Boot 官方参考文档
Spring Boot 官方参考文档

共0课时 | 0人学习

尚硅谷新版SpringBoot3教程
尚硅谷新版SpringBoot3教程

共0课时 | 0人学习