java处理gb级大文件必须放弃全量加载，采用分块+流式+缓冲方案：文本文件用bufferedreader逐行读取，二进制文件用filechannel+bytebuffer分块处理，超大文件可选mappedbytebuffer；写入需攒批落盘，切割应按字节而非行对齐，缓冲区推荐8kb–1mb。
Java 中处理大文件（尤其是 GB 级以上）必须放弃“全量加载”思路，核心是分块 + 流式 + 缓冲。不是为了炫技，而是避免 OOM、减少 I/O 次数、提升吞吐，并为后续断点续传、并行处理打基础。
分块读取：按需加载，内存可控
关键不是“一次读多少”，而是“怎么读不爆内存、不错行、不丢数据”。针对不同文件类型选合适方式：
-
文本文件（日志、CSV、JSONL）：优先用
BufferedReader配合大缓冲区（如 64KB），逐行读取。它内部已做缓冲优化，内存恒定，且自动处理换行边界。 -
二进制文件（视频、压缩包、导出数据）：用
FileChannel + ByteBuffer，手动控制块大小（推荐 1–4MB）。每次read(buffer)后flip()→处理→clear()，避免内存堆积。 -
超大文件（10GB+）且需随机访问：考虑
MappedByteBuffer。它把文件区域映射到虚拟内存，读写像操作数组一样快，但注意：Windows 下可能锁文件、Linux 下 mmap 区域有限制，且不适用于频繁写入场景。
分块写入：攒批落盘，减少系统调用
写入比读取更容易踩坑——频繁小写等于反复刷磁盘。高效做法是“先攒后写”：
- 用
BufferedOutputStream或FileChannel.write(ByteBuffer)，设置合理缓冲区（如 8192 字节或更大），让 JVM 自动聚合写操作。 - 若需精确控制每块内容（如分片上传、文件切割），先将数据写入
ByteArrayOutputStream或直接填充ByteBuffer，等达到目标块大小（如 5MB）再一次性写出到磁盘文件或网络流。 - 避免在循环里反复 new
FileOutputStream，开销大；用 try-with-resources 管理，确保 close 时缓冲区真正刷新。
分块切割：按字节而非按行切分更可靠
如果任务是把一个大文件物理拆成多个小文件（如用于分发或备份），别用 readLine() 切——跨行断裂会导致数据损坏。正确做法是：
- 用
FileInputStream或FileChannel定位起始偏移量，按固定字节数（如 10MB）读取一段，写入新文件。 - 对文本文件若需按行对齐，可在每块末尾向前搜索最后一个换行符位置，截断到该处，余下内容留给下一块开头拼接。
- 命名建议带序号与校验信息，如
part_001_8a3f7b.bin，方便后续合并或校验完整性。
性能关键细节：缓冲区大小与 Direct Buffer
缓冲区不是越大越好，也非越小越安全：
- 常见经验值：8KB–1MB。SSD 上 64KB–256KB 往往吞吐最优；HDD 可稍大（如 1MB）以摊薄寻道成本。
- 高频短周期读写可考虑
ByteBuffer.allocateDirect()（堆外内存），绕过 JVM 垃圾回收，但创建/销毁成本高，适合长期复用的场景。 - 永远检查
read()返回值是否为 -1（EOF）或 0（无数据），避免死循环；write()后注意是否需要force(true)强制刷盘（如金融类关键日志）。
Java免费学习笔记：立即使用
解锁 Java 大师之旅：从入门到精通的终极指南
