Golang 实现一个基于文件的简单 Key-Value 存储-Golang-PHP中文网

直接序列化map到文件会因崩溃导致脏数据、并发读写panic、全量重写io开销大；可靠方案需用wal追加写+内存索引实现增量更新与偏移定位。

golang 实现一个基于文件的简单 key-value 存储

为什么不用直接序列化 map 到文件

直接用 gob 或 json 把整个 map[string]interface{} 一次性写入文件，看似简单，但实际会踩三个坑：进程崩溃时文件可能写到一半变成脏数据；并发读写会 panic；每次修改都要全量重写文件，10MB 的 KV 数据改一个 key 就要 IO 10MB。真正可用的文件 KV 必须支持追加写、偏移定位和增量更新。

用追加日志（WAL）+ 内存索引实现可靠写入

核心思路是把所有写操作以纯文本或二进制格式追加到日志文件（如 store.log），同时在内存维护 map[string]int64 记录每个 key 最后一次出现的文件偏移。这样读取时只需查索引、seek 到对应位置、解析那行日志即可——避免全文件扫描，也规避了并发写冲突。

Write 操作：先序列化 key=value（建议用 fmt.Fprintln + 换行符分隔），追加到日志末尾，再更新内存索引中的偏移值
Read 操作：查索引得偏移 → file.Seek(offset, 0) → bufio.Scanner 读一行 → 解析出 value
启动时需回放日志重建索引：打开 store.log，逐行读取，覆盖式更新内存 map（后写的 key 自动覆盖前写的）

如何安全处理崩溃和重复启动

单纯依赖日志文件有风险：如果程序在 write 系统调用返回前崩溃，日志可能只写了一半。解决方案是写入前先 flush，并在每条记录末尾加校验字段（比如长度前缀或 CRC32）。更轻量的做法是：每次启动时，从日志末尾往前扫描，跳过不完整行（例如没有换行符的末行直接丢弃）。

Golang Stay Updated

提供最新的 Golang 新闻、社群和值得关注的人。适用于寻找 Go 学习资源、发现新库等。

下载

用 os.O_APPEND | os.O_CREATE | os.O_RDWR 打开日志文件，确保追加原子性
写入后立即调用 file.Sync()，强制刷盘（牺牲一点性能，换来可靠性）
读取时用 strings.TrimSpace() 处理可能的空白行，用 strings.SplitN(line, "=", 2) 防止 value 中含等号导致解析错误

删除操作怎么实现才不膨胀文件

文件存储没法真正“删”数据，只能标记逻辑删除。常见做法是在日志中写一条 key=（等号后为空）或 DEL:key。读取时若发现该 key 对应的最后一条记录是删除标记，就忽略它。长期运行后日志会变大，这时需要做 compaction：遍历当前有效 key，把它们的最新值重写到新文件，然后原子替换旧文件。