如何批量插入10万条数据的思路
在进行批量插入时，通常有两种主要的思路：
-
使用for循环逐条插入（需要开启批处理）：
- 这种方法的优点是，JDBC中的PreparedStatement具有预编译功能，可以缓存并提高后续SQL执行的速度。此外，JDBC可以开启批处理，批处理的执行效率非常高。
- 缺点在于，如果SQL服务器和应用服务器不在同一台机器上，网络IO可能会拖慢SQL执行速度。
-
生成一条SQL语句进行插入：
- 这种方法的优点是只需一次网络IO，即使需要分片处理，也只是少数几次网络IO，因此在网络IO上不会花费太多时间。
- 缺点包括SQL语句可能过长，可能需要分片后批量处理；无法充分利用PreparedStatement的预编译优势，SQL需要重新解析且无法复用；数据库管理器解析长SQL语句也需要时间。
关键是要评估网络IO所需的时间是否超过SQL插入的时间，这是选择批量插入方法的核心问题。
根据实际情况选择合适的批量插入方法。
MyBatis Plus的批量插入方法
MyBatis Plus提供了一个批量插入方法saveBatch，我们来看一下它的实现源码：
@Transactional(rollbackFor = Exception.class)
@Override
public boolean saveBatch(Collection<t> entityList, int batchSize) {
String sqlStatement = getSqlStatement(SqlMethod.INSERT_ONE);
return executeBatch(entityList, batchSize, (sqlSession, entity) -> sqlSession.insert(sqlStatement, entity));
}</t>
这里的sqlStatement是INSERT_ONE，即逐条插入。
executeBatch方法如下：
public static <e> boolean executeBatch(Class> entityClass, Log log, Collection<e> list, int batchSize, BiConsumer<sqlsession e> consumer) {
Assert.isFalse(batchSize {
int size = list.size();
int i = 1;
for (E element : list) {
consumer.accept(sqlSession, element);
if ((i % batchSize == 0) || i == size) {
sqlSession.flushStatements();
}
i++;
}
});
}</sqlsession></e></e>
注意return中的第三个参数是一个lambda表达式，这是MP批量插入的核心逻辑。MP首先对数据进行分片（默认分片大小为1000），然后逐条插入。进一步查看executeBatch方法，会发现这里的sqlSession实际上是一个批处理的sqlSession，而不是普通的sqlSession。
参考资料
10万条数据批量插入，到底怎么做才快？分享计划
博客内容将同步至PHP中文网+社区，邀请大家一同入驻：https://www.php.cn/link/f7e88f8ae3ce74bc6225e0b5c78a46b8
许可协议
本文采用 署名-非商业性使用-相同方式共享 4.0 国际 许可协议，转载请注明出处。
