如何优化MyBatis在Oracle环境下的批量插入(Batch Insert)性能

胖枫酱_8249

胖枫酱_8249

2026-06-08

693人浏览

原创

oracle下mybatis批量插入慢的主因是默认配置、jdbc驱动限制与sql写法叠加导致高频小事务、重复解析和单行网络包;实测3000条数据可从15秒优化至2秒,关键在用insert all+foreach分批(≤500条/批)并手动控制事务。

oracle环境下mybatis批量插入慢,核心原因不是mybatis本身,而是默认配置+oracle jdbc驱动行为+sql写法三者叠加导致的“高频小事务+重复解析+单行网络包”。实测中3000条数据从15秒压到2秒是可行的,关键在选对路径、避开默认陷阱。

为什么ExecutorType.BATCH在Oracle里效果打折

MyBatis的ExecutorType.BATCH底层调用JDBC addBatch()/executeBatch(),但Oracle官方JDBC驱动(ojdbc8)对executeBatch()的实现有特殊限制:

  • 它不会像MySQL那样自动拼接成一条INSERT ... VALUES (...), (...)语句;而是把每条INSERT当独立语句发给数据库,仅合并网络包
  • Oracle仍需为每条语句单独做硬解析(除非SQL完全一致且启用了绑定变量缓存)
  • 事务日志(redo)写入压力未降低,因为每条语句仍可能触发log buffer flush

所以单纯开ExecutorType.BATCH,性能提升有限(实测约1.5–2倍),远不如MySQL下明显。必须配合其他手段。

必须用INSERT ALL + foreach动态生成SQL

Oracle原生的INSERT ALL语法是真正能跳过多次解析、一次提交多行的方案。MyBatis可通过<foreach></foreach>生成合法结构:

<insert id="batchInsertAll">
  INSERT ALL
  <foreach collection="list" item="item" separator=" ">
    INTO DATA_REGION (id, name, pid) VALUES (#{item.id}, #{item.name}, #{item.pid})
  </foreach>
  SELECT 1 FROM DUAL
</insert>

注意几个硬性约束:

  • INSERT ALL最多支持1000个INTO子句(Oracle 12c+),超出必须分批,否则报ORA-01795: maximum number of expressions in a list is 1000
  • 不能混用不同表名或字段数,所有INTO必须指向同一张表、相同列数
  • SELECT 1 FROM DUAL不可省略,否则语法错误
  • 字段值不能为NULL字面量(如VALUES (1, NULL, 2)),应改用NVL(#{item.pid}, null)或确保Java侧传入null对象让MyBatis生成NULL关键字

分批大小设多少才不翻车

盲目设大批次(如5000条/批)容易触发两个Oracle级问题:

Market Oracle
Market Oracle

金融事件影响分析器 — 获取突发新闻,追踪金属/石油/加密货币/股票价格,预测短中长期市场连锁反应

下载
  • ORA-04030: out of process memory:SQL文本过长,SQL解析器内存溢出
  • ORA-00910: specified length too long for its datatype:CLOB/BLOB字段参与时,拼接后超长度限制

实测安全阈值(Oracle 19c + ojdbc8):

  • 纯VARCHAR2/NUMBER字段:建议≤500条/批(比理论1000更稳)
  • 含CLOB或长TEXT字段:≤100条/批
  • 开启setAutoCommit(false)手动控制事务,避免每批自动提交加重日志压力

Java侧分批逻辑示例:

int batchSize = 500;
for (int i = 0; i  batch = regions.subList(i, end);
  regionMapper.batchInsertAll(batch); // 调用上面的INSERT ALL SQL
  sqlSession.commit(); // 手动提交
}

别碰PL/SQL批量插入(除非真需要)

有人会提用BULK COLLECT + FORALL写存储过程,再由MyBatis调用。这确实能逼近Oracle极限性能,但代价很高:

  • 业务逻辑侵入数据库层,Java端失去校验、日志、事务编排能力
  • 调试困难:无法在IDE断点,异常堆栈丢失上下文
  • 部署复杂:需DBA权限创建存储过程,版本管理与应用代码脱节
  • 仅当单次插入超10万条、且对延迟极度敏感(如实时风控补录)才值得考虑

日常系统中,INSERT ALL + 分批 + 手动事务已覆盖95%场景。真正容易被忽略的是:Oracle对绑定变量的复用非常依赖SQL文本一致性——哪怕一个空格、换行不同,都会导致硬解析。务必检查MyBatis生成的最终SQL是否完全标准化(可用dbms_monitor.session_trace_enable抓包验证)。

相关文章

数码产品性能查询
数码产品性能查询

该软件包括了市面上所有手机CPU,手机跑分情况,电脑CPU,电脑产品信息等等,方便需要大家查阅数码产品最新情况,了解产品特性,能够进行对比选择最具性价比的商品。

下载

相关标签:

oracle

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
数据分析工具有哪些
数据分析工具有哪些

数据分析工具有Excel、SQL、Python、R、Tableau、Power BI、SAS、SPSS和MATLAB等。详细介绍:1、Excel,具有强大的计算和数据处理功能;2、SQL,可以进行数据查询、过滤、排序、聚合等操作;3、Python,拥有丰富的数据分析库;4、R,拥有丰富的统计分析库和图形库;5、Tableau,提供了直观易用的用户界面等等。

2023.10.12

3843

8

SQL中distinct的用法
SQL中distinct的用法

SQL中distinct的语法是“SELECT DISTINCT column1, column2,...,FROM table_name;”。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.27

831

4

SQL中months_between使用方法
SQL中months_between使用方法

在SQL中,MONTHS_BETWEEN 是一个常见的函数,用于计算两个日期之间的月份差。想了解更多SQL的相关内容,可以阅读本专题下面的文章。

2024.02.23

1009

5

SQL出现5120错误解决方法
SQL出现5120错误解决方法

SQL Server错误5120是由于没有足够的权限来访问或操作指定的数据库或文件引起的。想了解更多sql错误的相关内容,可以阅读本专题下面的文章。

2024.03.06

5661

10

sql procedure语法错误解决方法
sql procedure语法错误解决方法

sql procedure语法错误解决办法:1、仔细检查错误消息;2、检查语法规则;3、检查括号和引号;4、检查变量和参数;5、检查关键字和函数;6、逐步调试;7、参考文档和示例。想了解更多语法错误的相关内容,可以阅读本专题下面的文章。

2024.03.06

2623

4

oracle数据库运行sql方法
oracle数据库运行sql方法

运行sql步骤包括:打开sql plus工具并连接到数据库。在提示符下输入sql语句。按enter键运行该语句。查看结果,错误消息或退出sql plus。想了解更多oracle数据库的相关内容,可以阅读本专题下面的文章。

2024.04.07

5640

11

sql中where的含义
sql中where的含义

sql中where子句用于从表中过滤数据,它基于指定条件选择特定的行。想了解更多where的相关内容,可以阅读本专题下面的文章。

2024.04.29

7421

6

sql中删除表的语句是什么
sql中删除表的语句是什么

sql中用于删除表的语句是drop table。语法为drop table table_name;该语句将永久删除指定表的表和数据。想了解更多sql的相关内容,可以阅读本专题下面的文章。

2024.04.29

1010

5

sql中删除一列的命令是什么
sql中删除一列的命令是什么

在sql中,使用alter table语句可以删除一列,语法为:alter table table_name drop column column_name。想了解更多sql的相关内容,可以阅读本专题下面的文章。

2024.04.29

892

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程