本文介绍如何在 spring boot + jpa 环境下，避免 n+1 查询与内存溢出，通过原生 sql 批量拉取、流式映射与分块写入，将百万级实体高效导出为标准 json 文件。
本文介绍如何在 spring boot + jpa 环境下，避免 n+1 查询与内存溢出，通过原生 sql 批量拉取、流式映射与分块写入，将百万级实体高效导出为标准 json 文件。
导出百万级记录为 JSON 是典型的数据迁移场景，但若沿用传统 JPA 实体加载 + 内存聚合的方式（如 @Formula、@OneToMany 懒/急加载），极易触发性能瓶颈：每条记录触发额外子查询、对象反复创建、GC 压力剧增、堆内存耗尽——这正是原始代码耗时 2–3 小时且 IDE 冻结的根本原因。
✅ 核心优化原则
-
绕过 JPA 实体生命周期：禁用
@Formula和关联映射，改用单次 JOIN 查询获取主表+关联字段； -
分离数据拉取与结构组装：先批量查出扁平化原始数据（
Object[]），再映射为轻量 DTO； - 避免全量内存驻留：不将全部百万对象加载进 List，而采用分块处理 + 流式写入；
-
精准控制 SQL 执行粒度：用
BETWEEN或LIMIT/OFFSET分页，确保两次查询（主表 & 关联表）范围严格对齐。
? 推荐实现（支持分块 + 高效 JSON 写入）
@Transactional(readOnly = true)
public void exportNewEntitiesToJson(String outputPath, int batchSize) throws IOException {
Gson gson = new GsonBuilder().setPrettyPrinting().create();
try (FileWriter file = new FileWriter(outputPath)) {
// Step 1: 分批拉取主表 + 关联字段（无 Formula，无 Lazy Load）
String mainQuery = """
SELECT
t.NEW_ENTITY_ID AS id,
t.SHARED_ID AS sharedId,
a.SOME_ID AS someId,
a.CODE AS code
FROM TABLE_NAME t
INNER JOIN ANOTHER_TABLE a ON t.SHARED_ID = a.SHARED_ID
WHERE t.code IS NOT NULL AND t.someId IS NOT NULL
ORDER BY t.NEW_ENTITY_ID
""";
// Step 2: 获取总记录数（可选，用于进度预估）
Long totalCount = countTotalRecords(mainQuery);
// Step 3: 分块处理（关键！避免 OOM）
long offset = 0;
boolean hasMore = true;
file.write("[\n"); // JSON 数组开头
while (hasMore) {
List<object> batch = em.createNativeQuery(mainQuery)
.setFirstResult((int) offset)
.setMaxResults(batchSize)
.getResultList();
if (batch.isEmpty()) {
hasMore = false;
break;
}
// 映射主表批次为 DTO
List<entitydto> entityDtos = batch.stream()
.map(row -> new EntityDTO(
((Number) row[0]).longValue(), // id
((Number) row[1]).longValue(), // sharedId
(String) row[2], // someId
(String) row[3] // code
))
.collect(Collectors.toList());
// 提取当前批次的 ID 列表，用于关联查询
Set<long> currentIds = entityDtos.stream()
.map(EntityDTO::getId)
.collect(Collectors.toSet());
// Step 4: 批量拉取对应 locations（WHERE NEW_ENTITY_ID IN (...)）
String locationQuery = """
SELECT
l.newEntityId, l.id, l.city, l.state, l.country
FROM location l
WHERE l.newEntityId IN :ids
""";
@SuppressWarnings("unchecked")
List<object> locationRows = em.createNativeQuery(locationQuery)
.setParameter("ids", currentIds)
.getResultList();
// 构建 location 映射
Map<long list>> locationMap = locationRows.stream()
.map(row -> new LocationDTO(
((Number) row[1]).longValue(), // id
((Number) row[0]).longValue(), // newEntityId
(String) row[2], (String) row[3], (String) row[4]
))
.collect(Collectors.groupingBy(LocationDTO::getNewEntityId));
// 绑定 locations 到主 DTO
for (EntityDTO dto : entityDtos) {
dto.setLocations(locationMap.getOrDefault(dto.getId(), Collections.emptyList()));
}
// Step 5: 流式写入 JSON（每批次追加，不缓存全量）
String jsonBatch = gson.toJson(entityDtos);
file.write(jsonBatch.substring(1, jsonBatch.length() - 1)); // 去掉外层 []
if (hasMore = (offset + batchSize <h3>⚠ 关键注意事项</h3>
<ul>
<li>
<strong><code>IN</code> 子句长度限制</strong>：PostgreSQL/MySQL 对 <code>IN</code> 参数数量有限制（如 MySQL 默认 1000），需根据数据库调整 <code>batchSize</code> 或改用 <code>BETWEEN</code> + 主键范围； </li>
<li>
<strong>JSON 格式健壮性</strong>：生产环境建议使用 <code>JsonGenerator</code>（Jackson）替代 <code>Gson.toJson()</code>，支持流式写入、空值处理、大数精度等； </li>
<li>
<strong>事务与连接管理</strong>：<code>@Transactional(readOnly=true)</code> 确保只读优化，但长事务仍可能锁表，建议配合数据库快照隔离级别（如 PostgreSQL <code>REPEATABLE READ</code>）； </li>
<li>
<strong>磁盘 I/O 优化</strong>：<code>FileWriter</code> 替换为 <code>BufferedWriter</code>，并设置合理缓冲区（如 <code>new BufferedWriter(file, 8192)</code>）； </li>
<li>
<strong>监控与日志</strong>：加入 <code>log.info("Exported {} records, offset={}", entityDtos.size(), offset)</code>，便于中断恢复与性能分析。</li>
</ul>
<h3>✅ 性能对比预期</h3>
<table>
<thead><tr>
<th>方式</th>
<th>内存占用</th>
<th>耗时估算</th>
<th>风险点</th>
</tr></thead>
<tbody>
<tr>
<td>原始 JPA 实体加载</td>
<td>>2GB heap</td>
<td>2–3 小时+</td>
<td>OOM、IDE 冻结、N+1 查询</td>
</tr>
<tr>
<td>本方案（batchSize=5000）</td>
<td></td>
<td><strong>15–30 分钟</strong></td>
<td>需调优 <code>IN</code> 大小、索引覆盖</td>
</tr>
</tbody>
</table>
<p>最终，导出不是“把对象转 JSON”，而是“以最小数据库往返和内存代价，生成符合契约的 JSON 流”。放弃 ORM 的便利性，拥抱 SQL 的确定性，是处理百万级导出的理性选择。</p><div class="aritcle_card flexRow artxards">
<div class="artcardd flexRow">
<a class="aritcle_card_img" rel="nofollow" href="/xiazai/gongju/2870" title="Gradle 9.8.0"><img
src="https://img.php.cn/upload/manual/001/431/639/6ad9ce71d8cb6379.png" alt="Gradle 9.8.0" onerror="this.onerror='';this.src='/static/lhimages/moren/morentu.png'" ></a>
<div class="aritcle_card_info flexColumn">
<a rel="nofollow" href="/xiazai/gongju/2870" title="Gradle 9.8.0" class="overflowclass">Gradle 9.8.0</a>
<p class="overflowclass"></p>
</div>
<a rel="nofollow" href="/xiazai/gongju/2870" title="Gradle 9.8.0" class="aritcle_card_btn flexRow flexcenter"><b></b><span>下载</span>
</a>
</div>
</div></long></object></long></entitydto></object>Java免费学习笔记：立即使用
解锁 Java 大师之旅：从入门到精通的终极指南
