本文介绍如何使用 JOOQ 的 fetchLazy() 与 Cursor 实现内存友好的分页流式处理，避免一次性加载全部 200k+ 记录，通过回调机制按 1000 条批次消费数据，无需异步或响应式改造。
本文介绍如何使用 jooq 的 `fetchlazy()` 与 `cursor` 实现内存友好的分页流式处理，避免一次性加载全部 200k+ 记录，通过回调机制按 1000 条批次消费数据，无需异步或响应式改造。
在处理数据库中超过 20 万条记录时，直接调用 fetch() 加载全部结果到内存极易引发 OutOfMemoryError 或显著拖慢响应。JOOQ 提供了基于游标的流式查询能力——fetchLazy() 返回一个 Cursor<t></t>，它底层封装了 JDBC ResultSet 并支持真正的懒加载与资源自动管理，是解决该问题的标准方案。
核心在于将业务处理逻辑内聚到数据获取流程中，而非先取全量再处理（即从外部迭代转为内部迭代）。以下为推荐实现：
class RecordService {
private final RecordPersistence recordPersistence = new RecordPersistence();
public void processRecords() {
recordPersistence.fetchRecordsInBatches(1000, records -> {
// ✅ 每次仅持有 1000 条 Record 实例，处理完立即释放引用
for (Record record : records) {
// 执行具体业务逻辑：校验、转换、写入其他系统等
processSingleRecord(record);
}
// 可选：每批处理后显式提交事务（若需分批事务控制）
// transaction.commit();
});
}
private void processSingleRecord(Record record) {
// 示例：打印 ID 或调用领域服务
System.out.println("Processing: " + record.getId());
}
}
class RecordPersistence {
private final DSLContext dsl; // 通常通过构造注入
public RecordPersistence(DSLContext dsl) {
this.dsl = dsl;
}
/**
* 按指定批次大小流式获取并消费记录
* @param batchSize 每批记录数（建议 500–5000，依单条记录大小和 GC 压力调整）
* @param consumer 批次处理回调函数
*/
public void fetchRecordsInBatches(int batchSize, Consumer<list>> consumer) {
// 使用 try-with-resources 确保 Cursor 关闭，释放 ResultSet 和数据库连接
try (Cursor<record> cursor = dsl
.selectFrom(table("your_table")) // 替换为实际表名或 Table> 实例
.orderBy(field("id")) // ⚠️ 强烈建议添加 ORDER BY，保证分批一致性
.fetchLazy()) {
while (cursor.hasNext()) {
List<record> batch = cursor.fetchNext(batchSize);
if (!batch.isEmpty()) {
consumer.accept(batch);
}
}
} catch (SQLException e) {
throw new RuntimeException("Failed to stream records", e);
}
}
}</record></record></list>
关键注意事项：
- ✅ 必须使用
try-with-resources：Cursor实现了AutoCloseable，未显式关闭会导致连接泄漏；fetchLazy()返回的Cursor在close()时会自动关闭底层ResultSet和归还连接。 - ✅ 务必添加
ORDER BY：无序查询下fetchNext(n)的语义不保证跨批次唯一性与顺序稳定性，易造成漏读或重复处理。 - ✅ 批次大小权衡：1000 是合理起点，但需根据单条记录内存占用、JVM 堆配置及数据库网络延迟实测调整；过小增加循环开销，过大仍可能触发 GC 压力。
- ❌ 无需引入异步/响应式：本方案本质是同步阻塞式流处理，但内存可控、代码简洁、调试友好，适用于绝大多数后台批处理场景。仅当需高并发实时响应或集成 WebFlux 等响应式栈时，才考虑
ReactiveSQLTemplates或R2DBC+ JOOQ Reactive。 - ? 如需分批事务：可在
consumer内部开启独立事务（例如 Spring@Transactional(propagation = Propagation.REQUIRES_NEW)），但需注意事务隔离级别与锁竞争影响性能。
综上，利用 JOOQ 的 Cursor 进行回调式分批消费，是处理海量数据最轻量、最可靠且符合 Java 生态惯用法的方案——它不增加技术栈复杂度，却能彻底规避内存风险，值得作为大数据量批处理的默认模式。
