如何利用limit与skip操作实现流式数据的分页处理与变量切片教程-java教程-PHP中文网

流式数据不适用 limit + skip 分页，因为 skip() 和 limit() 是内存内操作，需全部数据加载到 jvm 堆中，而流式数据按需生成、不可重用、不支持随机访问，强行使用会导致性能灾难和异常。

如何利用limit与skip操作实现流式数据的分页处理与变量切片教程

不能用 limit 和 skip 对流式数据做真正意义上的分页。

为什么流式数据不适用 limit + skip 分页

Stream 的 skip() 和 limit() 是内存内切片操作，前提是所有数据必须已加载到 JVM 堆中。而“流式数据”指按需生成、边读边处理的数据源，例如：

数据库游标（未一次性拉全表）
大文件逐行读取（Files.lines() 返回的 Stream）
HTTP 响应体流、Kafka 消息流、Reactive Streams（如 Flux）
无限流（Stream.iterate()、Stream.generate()）

在这些场景下直接写 .skip(n).limit(m) 会导致：

跳过操作无法下推——比如从数据库查 100 万条才 skip 前 99 万，网络和内存全扛不住
某些流不支持随机访问，skip(100000) 会强制遍历并丢弃前 10 万项，时间复杂度 O(n)
流一旦被消费就不可重用，分页多次调用会报 IllegalStateException

适合用 limit + skip 的真实场景

仅限于数据已全部驻留内存、体积可控、且无需源头分页能力的情况：

本地缓存中的用户列表、配置项集合、测试用假数据
前端传来的 JSON 数组经 ObjectMapper 解析后的 List<t></t>
Spring Boot 中通过 @Value 注入的小规模配置列表

正确写法示例（Java 16+）：

int page = 3, size = 10;<br>List<user> allUsers = cacheService.getAllUsers(); // 已加载完毕<br>List<user> pageData = allUsers.stream()<br>    .skip((long)(page - 1) * size)<br>    .limit(size)<br>    .toList();</user></user>

流式数据的替代分页方案

若数据来自外部系统，应把分页逻辑下沉到源头：

数据库：用 SQL 的 LIMIT offset, size（MySQL）、OFFSET ... FETCH NEXT（PostgreSQL/SQL Server）或 JPA 的 Pageable
MongoDB：用 .skip((page-1)*size).limit(size) —— 这是服务端执行，不是 Java Stream
大文件：改用带行号的 BufferedReader，按字节偏移或行号范围读取，而非转成 Stream 后 skip
响应式流：用 Project Reactor 的 flux.skip(n).take(m)，但注意它仍需缓冲（可配 onBackpressureBuffer 控制）