c++如何利用文件流接口实现一个最简易的持久化无索引KV存储引擎【实战】

秋丽同学_1078

秋丽同学_1078

2026-03-25

532人浏览

原创

用文本格式(key=value)存kv对最稳,避免二进制兼容性问题;必须全量读写、用std::ios::trunc清空文件;仅限单线程低频场景,不支持并发、原子操作或软删除。

c++如何利用文件流接口实现一个最简易的持久化无索引kv存储引擎【实战】

用 std::fstream 直接序列化 KV 对,别碰二进制格式细节

直接用文本格式存键值对最稳,避免字节序、对齐、类型尺寸变化带来的读写错位。C++ 没有内置的序列化标准,自己搞二进制结构体(比如 struct Entry { char key[64]; int value; };)在跨平台或升级编译器后极大概率读崩。

实操建议:

  • 每行存一个 key=value,用 std::getline 逐行读,std::string::find('=') 分割
  • 写入时统一用 \n 换行(Windows 下用 std::ios::binary 打开也能兼容,但没必要)
  • 键里不能含 = 或换行符;值可含等号,但需约定只取第一个 = 左侧为键 —— 所以实际应限制键字符集(如仅 a-zA-Z0-9_)
  • 不支持空键、空值;遇到就跳过或报错,别静默忽略

插入/更新必须重写整个文件,别试图 seekp 随机改

文本格式无法原地覆盖:旧键值长度和新键值长度不同,seekp 后写入会把后续内容挤掉或留下脏字节。哪怕只改一个值,也要全量读入内存、修改映射、再全量写出。

常见错误现象:

  • 文件末尾出现乱码或重复键 —— 是部分写入没清空原文件导致的
  • 读出的值比写入的小 —— seekp 后没调 file.clear(),流状态出错
  • Windows 下用 "w" 模式打开却仍残留旧内容 —— 没用 std::ios::trunc 标志

正确做法:

  • 读阶段:用 std::ifstream 打开,while (getline(...)) 构建 std::unordered_map<:string std::string></:string>
  • 写阶段:用 std::ofstream file("db.txt", std::ios::out | std::ios::trunc),确保旧内容被清空
  • 写完立刻 file.close(),别依赖析构 —— 出异常时可能丢数据

并发写入必然丢数据,单线程是唯一安全模式

C++ 标准库的 std::fstream 不提供文件锁,多个进程或线程同时写同一个文件,结果取决于操作系统调度,不是“最后写的赢”,而是“谁写到哪算哪”。没有原子性保证,也没有事务回滚。

C++ Code Review Master
C++ Code Review Master

组合式C++代码评审方案,融合静态分析、AI推理、多轮迭代评审和C++专项检查,适用于PR审查、增量代码审查、全项目评审和代码质量评分,触发词包括review cpp、cpp代码评审、C++review、代码审查。

下载

使用场景限制很明确:

  • 只适用于单进程内、单线程调用的配置缓存、调试日志开关等低频场景
  • 绝不能用于 Web 服务后台、多 worker 进程共享存储
  • 如果真要多线程访问,必须外加互斥锁(std::mutex),且锁粒度得包住「读 → 改 → 写」整段,不能只锁写入

性能影响:

  • 1000 条记录,每次写入约耗时 1–5ms(SSD 上),纯文本解析+重建 map 是主要开销
  • 文件超过 10MB 后,启动加载变慢,但写入时间不线性增长 —— 因为写入仍是全量刷盘

删除键 = 内存中删掉再全量重写,不存在“标记删除”

文本格式没法打标记,也没法收缩文件空洞。所谓“软删除”在这里毫无意义,只会让文件越积越大、读取越慢、还增加解析逻辑复杂度。

实操要点:

  • 删除操作就是从 std::unordered_map 中调用 .erase(key)
  • 随后必须触发一次完整写入,否则下次启动仍会读到旧值
  • 不要为了“节省 IO”而延迟写入 —— 崩溃或 kill -9 会导致最新状态丢失
  • 如果担心频繁写入损耗 SSD,那就别用这个方案;该上 sqlite3 或 leveldb

容易被忽略的是:没有“存在性检查”的原子操作。比如 if (!exists(key)) insert(key, val); 这种逻辑,在多线程下天然竞态 —— 判断和插入之间可能已被其他线程插入。这种需求已超出本方案能力边界。

C++免费学习笔记(深入):立即使用
在学习笔记中,你将探索 C++ 的入门与实战技巧!

相关文章

c++速学教程(入门到精通)
c++速学教程(入门到精通)

c++怎么学习?c++怎么入门?c++在哪学?c++怎么学才快?不用担心,这里为大家提供了c++速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

c++

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
string转int
string转int

在编程中,我们经常会遇到需要将字符串(str)转换为整数(int)的情况。这可能是因为我们需要对字符串进行数值计算,或者需要将用户输入的字符串转换为整数进行处理。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.02

5559

3

while的用法
while的用法

while的用法是“while 条件: 代码块”,条件是一个表达式,当条件为真时,执行代码块,然后再次判断条件是否为真,如果为真则继续执行代码块,直到条件为假为止。本专题为大家提供while相关的文章、下载、课程内容,供大家免费下载体验。

2023.09.25

334

5

golang结构体相关大全
golang结构体相关大全

本专题整合了golang结构体相关大全,想了解更多内容,请阅读专题下面的文章。

2025.06.09

4194

18

golang结构体方法
golang结构体方法

本专题整合了golang结构体相关内容,请阅读专题下面的文章了解更多。

2025.07.04

4351

25

string转int
string转int

在编程中,我们经常会遇到需要将字符串(str)转换为整数(int)的情况。这可能是因为我们需要对字符串进行数值计算,或者需要将用户输入的字符串转换为整数进行处理。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.02

5559

3

int占多少字节
int占多少字节

int占4个字节,意味着一个int变量可以存储范围在-2,147,483,648到2,147,483,647之间的整数值,在某些情况下也可能是2个字节或8个字节,int是一种常用的数据类型,用于表示整数,需要根据具体情况选择合适的数据类型,以确保程序的正确性和性能。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.08.29

2785

6

c++怎么把double转成int
c++怎么把double转成int

本专题整合了 c++ double相关教程,阅读专题下面的文章了解更多详细内容。

2025.08.29

3468

10

C++中int的含义
C++中int的含义

本专题整合了C++中int相关内容,阅读专题下面的文章了解更多详细内容。

2025.08.29

2485

10

硬盘接口类型介绍
硬盘接口类型介绍

硬盘接口类型有IDE、SATA、SCSI、Fibre Channel、USB、eSATA、mSATA、PCIe等等。详细介绍:1、IDE接口是一种并行接口,主要用于连接硬盘和光驱等设备,它主要有两种类型:ATA和ATAPI,IDE接口已经逐渐被SATA接口;2、SATA接口是一种串行接口,相较于IDE接口,它具有更高的传输速度、更低的功耗和更小的体积;3、SCSI接口等等。

2023.10.19

3068

3

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Conan 2 Essentials 免费课程
Conan 2 Essentials 免费课程

共0课时 | 0人学习

CMake 与 Conan 集成实践
CMake 与 Conan 集成实践

共0课时 | 0人学习

Conan 2 高级依赖模型介绍
Conan 2 高级依赖模型介绍

共0课时 | 0人学习