文件按需加载指程序运行时仅在实际需要时才从磁盘读取对应数据，解决全量加载导致的内存浪费和启动延迟问题；其核心在于按需触发i/o、精准定位读取区域，并合理管理缓存与生命周期。
什么是文件按需加载，它解决什么问题
按需加载不是等程序启动时一股脑读完所有文件，而是等到真正要用某段数据时才去磁盘读取。典型场景比如：一个配置文件有 100 个键，但运行中只用到其中 3 个；或者一个资源包里含几十张图片，但一帧只渲染 1–2 张。这时候全量加载既浪费内存，又拖慢初始化速度。
关键判断是：只要你不把整个文件内容一次性 fread 或 std::ifstream::read 进内存，而是在访问某个字段/区域时再触发 I/O，就算迈出了按需加载的第一步。真正的难点不在“要不要读”，而在“怎么知道该读哪块、读多少、缓存怎么管”。
用 mmap 实现零拷贝按需页加载（Linux/macOS）
mmap 是最贴近操作系统语义的按需加载方式——它不立即读文件，而是把文件映射成一段虚拟内存地址；第一次访问某一页（通常是 4KB）时，内核才从磁盘载入该页，后续访问直接走内存。这对大文件（如模型权重、地图数据）特别友好。
- 必须以
PROT_READ+MAP_PRIVATE映射，避免写时复制干扰逻辑 - 映射后不要对指针做越界解引用，否则触发
SEGV_MAPERR -
mmap返回的地址不保证对齐，若需按结构体访问，得手动偏移计算，例如：reinterpret_cast<myheader>(mapped_ptr + offset)</myheader> - Windows 上对应的是
CreateFileMapping+MapViewOfFile，行为类似但 API 更啰嗦
int fd = open("data.bin", O_RDONLY);
struct stat st;
fstat(fd, &st);
auto ptr = mmap(nullptr, st.st_size, PROT_READ, MAP_PRIVATE, fd, 0);
// 此时没发生实际读取
MyRecord* rec = reinterpret_cast<myrecord>(ptr + 0x1230); // 第一次访问 0x1230 所在页才触发加载
</myrecord>
自己管理小文件/分块缓存时，别直接用 std::ifstream 每次打开
很多人以为“每次用的时候 std::ifstream f(path); f.read(...)”就是按需加载，其实不是：频繁 open/close 会触发大量系统调用，还可能因文件系统缓存策略失效导致重复磁盘寻道。
更合理的做法是：
- 维护一个
std::unordered_map<:string std::vector>></:string>做 LRU 缓存，键为文件路径或逻辑 ID - 首次访问某文件时，用
std::ifstream::seekg跳到目标 offset，再read指定字节数（比如只读一个 JSON 字段值） - 对二进制格式，优先用
pread（Linux/macOS）或ReadFile（Windows）做无状态偏移读，避免seekg+read的两次 syscall - 缓存淘汰策略必须明确：比如总大小超 64MB 就清掉最久未用的项，而不是等 OOM
序列化格式决定你能懒到什么程度
JSON/YAML/XML 这类文本格式，解析器通常要先全文加载再 parse，天然难按需——除非你用流式 parser（如 simdjson::ondemand），它允许跳过无关字段，只提取你需要的 key。
二进制格式就自由得多：
- Protocol Buffers 支持
ParsePartialFromArray，配合自定义ZeroCopyInputStream可实现只读子字段 - 自定义格式建议预留 header + section table：前 512 字节存各数据块的 offset/size，加载时先读 header，再按需
pread对应块 - 别在 header 里存绝对路径或时间戳这类易变字段，否则缓存失效率飙升
按需加载真正复杂的地方不在代码行数，而在于“哪些东西该缓、缓多久、失效时怎么通知上层”。比如一个纹理对象被多个材质引用，卸载时机就得靠引用计数，而不是简单看“最后一次访问是不是 5 秒前”。
C++免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 C++ 的入门与实战技巧！
