如何使用 Hibernate 高效地从 MySQL 获取 9000 万条记录而不耗尽内存？

使用 Hibernate 读取大型结果集的优化策略

本文解决了使用 Hibernate 从 MySQL 数据库读取 9000 万条记录的挑战，而无需使用 Hibernate RAM 过载。

ScrollableResults限制

最初，用户尝试利用 Hibernate 的 ScrollableResults 增量地流式传输结果。但是，MySQL Connector/J 库不提供真正的滚动功能，会将整个结果集加载到内存中，从而导致 OutOfMemoryError 异常。

setFirstResult/setMaxResults 与 ScrollableResults

作为解决方法，用户考虑使用 setFirstResult 和 setMaxResults 迭代获取批量结果。但是，由于为每个批次初始化新查询的开销，这种方法可能效率较低，特别是对于大型结果集。

使用本机 SQL 优化批量检索

受访者建议的最佳解决方案是脱离MySQL J/Connector并使用批处理查询：

select * 
from person 
where id > <max_id_of_last_batch> and <other_conditions> 
order by id asc  
limit <batch_size></batch_size></other_conditions></max_id_of_last_batch>

此查询根据先前确定的前一批记录的最大 ID 抓取一批记录，并按 ID 升序对它们进行排序。 batch_size 参数确定一次检索的记录数。这种方法可确保仅在内存中处理可管理数量的记录，从而防止内存耗尽。

以上是如何使用 Hibernate 高效地从 MySQL 获取 9000 万条记录而不耗尽内存？的详细内容。更多信息请关注PHP中文网其他相关文章！