使用 preparedstatement 执行批量日志记录的核心做法是开启手动事务提交,将多条日志 sql 通过 addbatch() 加入批次,最后调用 executebatch() 一次性发送。这样做能显著减少网络往返并提高写入吞吐量。若遇到主键冲突或数据校验失败,需根据业务需求决定是抛出异常中断整个批次,还是忽略错误继续处理后续日志。

如何配置 JDBC 连接以支持高效批量操作
要实现高效的批量插入,必须在建立数据库连接时配置特定的 URL 参数,否则驱动可能会回退到低效的单条执行模式。关键设置包括关闭自动提交、启用批处理优化以及调整缓冲区大小。

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.sql.SQLException;
public class BatchLogExample {
// 假设 MySQL 8.0+ 驱动
private static final String URL = "jdbc:mysql://localhost:3306/mydb?rewriteBatchedStatements=true&allowMultiQueries=true";
private static final String USER = "root";
private static final String PASSWORD = "password";
public static void main(String[] args) {
String sql = "INSERT INTO logs (level, message, created_at) VALUES (?, ?, ?)";
try (Connection conn = DriverManager.getConnection(URL, USER, PASSWORD)) {
// 1. 关闭自动提交,确保批量操作的原子性
conn.setAutoCommit(false);
try (PreparedStatement pstmt = conn.prepareStatement(sql)) {
// 模拟 1000 条日志数据
for (int i = 0; i 0) {
pstmt.executeBatch();
pstmt.clearBatch();
}
}
// 3. 执行剩余批次
int[] results = pstmt.executeBatch();
// 4. 提交事务
conn.commit();
System.out.println("Batch executed successfully. Results: " + results.length);
} catch (SQLException e) {
// 发生错误时回滚,保证数据一致性
conn.rollback();
throw e;
}
} catch (SQLException e) {
e.printStackTrace();
}
}
}
上述代码中,URL 里的 rewriteBatchedStatements=true 是关键。它告诉 MySQL 驱动将多个 INSERT 语句合并为一条多值 INSERT 语句(例如 INSERT INTO ... VALUES (...), (...)),从而极大提升性能。如果不加此参数,驱动可能仍会逐条发送 SQL,失去批量优势。同时,setAutoCommit(false) 确保了要么全部成功,要么全部失败,避免部分日志丢失导致的数据不一致。
如何处理批量插入中的异常与部分失败
在批量操作中,如果其中某一行数据因违反约束(如唯一键冲突)而失败,默认行为取决于驱动和数据库配置。通常,executeBatch() 会抛出 BatchUpdateException,此时需要解析异常数组来确定哪些行失败了。对于日志系统,我们通常希望“尽力而为”,即忽略失败的日志,继续保存其他正常日志,而不是因为一条脏数据导致整个批次回滚。
使用Atmosphere构建通过WebSocket、SSE、gRPC、WebTransport、MCP、A2A和AG-UI流传输的JVM代理网关,并带有治理钩子。

import java.sql.BatchUpdateException;
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.sql.SQLException;
public class PartialFailureHandler {
private static final String URL = "jdbc:mysql://localhost:3306/mydb?rewriteBatchedStatements=true";
private static final String USER = "root";
private static final String PASSWORD = "password";
public static void main(String[] args) {
String sql = "INSERT INTO logs (id, level, message) VALUES (?, ?, ?)";
try (Connection conn = DriverManager.getConnection(URL, USER, PASSWORD)) {
conn.setAutoCommit(false);
try (PreparedStatement pstmt = conn.prepareStatement(sql)) {
// 构造包含重复 ID 的数据,模拟冲突
pstmt.setInt(1, 1); pstmt.setString(2, "INFO"); pstmt.setString(3, "Msg 1"); pstmt.addBatch();
pstmt.setInt(1, 2); pstmt.setString(2, "ERROR"); pstmt.setString(3, "Msg 2"); pstmt.addBatch();
pstmt.setInt(1, 1); pstmt.setString(2, "WARN"); pstmt.setString(3, "Msg 3 - Duplicate ID"); pstmt.addBatch();
pstmt.setInt(1, 4); pstmt.setString(2, "INFO"); pstmt.setString(3, "Msg 4"); pstmt.addBatch();
try {
int[] results = pstmt.executeBatch();
conn.commit();
System.out.println("All succeeded.");
} catch (BatchUpdateException e) {
// 捕获批量异常
System.err.println("Batch failed with code: " + e.getErrorCode());
// 获取更新状态数组,判断哪些行成功
int[] updateCounts = e.getUpdateCounts();
for (int i = 0; i 0) {
System.out.println("Row " + i + " succeeded.");
} else {
System.out.println("Row " + i + " failed.");
}
}
// 对于日志场景,可以选择只回滚失败的部分,或者忽略并继续
// 这里简单演示:不提交,仅打印结果
conn.rollback();
}
}
} catch (SQLException e) {
e.printStackTrace();
}
}
}
当 executeBatch() 抛出 BatchUpdateException 时,可以通过 e.getUpdateCounts() 获取每个语句的执行结果。返回值 Statement.SUCCESS_NO_INFO 表示执行成功但无法确定影响行数,正数表示成功影响的行数,EXECUTE_FAILED (-3) 表示该行失败。在日志系统中,如果发现某行失败(如 ID 重复),可以记录该错误日志到另一个“死信队列”表,然后对当前批次进行部分提交或忽略,具体策略取决于应用对一致性的要求。注意,MySQL 的 rewriteBatchedStatements 在某些情况下会将多行合并为一行执行,此时 getUpdateCounts() 的行为可能有所不同,建议测试实际驱动版本的表现。
大批量日志写入时的内存管理与分批策略
当需要写入数万甚至数百万条日志时,将所有数据加载到内存并通过 addBatch() 堆积会导致 OutOfMemoryError。因此,必须实现分批提交机制。最佳实践是设定一个固定的批次大小(如 500 或 1000 条),每积累满一批就执行一次 executeBatch() 并立即 clearBatch(),然后提交事务或保持事务持续直到程序结束。
public void writeLogsInChunks(List<logentry> logs, int batchSize) {
String sql = "INSERT INTO logs (message, timestamp) VALUES (?, ?)";
try (Connection conn = DriverManager.getConnection(URL, USER, PASSWORD)) {
conn.setAutoCommit(false);
try (PreparedStatement pstmt = conn.prepareStatement(sql)) {
int count = 0;
for (LogEntry log : logs) {
pstmt.setString(1, log.getMessage());
pstmt.setTimestamp(2, log.getTimestamp());
pstmt.addBatch();
count++;
// 达到批次大小时执行
if (count % batchSize == 0) {
pstmt.executeBatch();
pstmt.clearBatch();
// 可选:每批提交一次,降低长事务锁持有时间
// conn.commit();
}
}
// 处理剩余不足一批的数据
if (count % batchSize != 0) {
pstmt.executeBatch();
pstmt.clearBatch();
}
conn.commit();
}
} catch (SQLException e) {
// 错误处理
}
}</logentry>
这种分批策略不仅控制了内存占用,还减少了单个事务的锁持有时间,提高了数据库并发能力。在实际生产环境中,还可以结合异步线程池,将日志收集与数据库写入分离,进一步解耦业务逻辑与 I/O 操作。
Java免费学习笔记:立即使用
解锁 Java 大师之旅:从入门到精通的终极指南










