pebble的compaction触发逻辑需设l0compactionthreshold=4、l0stopwritesthreshold=12,并禁用disablewal;避免l0文件堆积导致读延迟飙升,确保写入阻塞前及时触发合并。

pebble 的 compaction 触发逻辑怎么配才不卡住读
pebble 默认的 compaction 调度是“被动响应型”:只有当某层文件数或大小超限,才会触发。但实际写入密集时,L0 文件暴涨,L0SublevelCompactions 可能来不及合并,导致点查要扫几十个 L0 SSTable,延迟飙升。
关键不是调大 Levels[i].TargetFileSize,而是控制 L0 的“膨胀系数”:
- 把
Options.L0StopWritesThreshold设为 12(默认是 12,但很多人没意识到它真会 stop write)——一旦 L0 文件数 ≥12,写入阻塞,强制 compaction 跟上 - 降低
Options.L0CompactionThreshold到 4(默认是 4,但建议显式设,避免被误认为可忽略)——L0 文件数 ≥4 就启动 compaction,别等满 - 禁用
Options.DisableWAL = true:即使只读也要 WAL,否则重启后未 flush 的 MemTable 丢失,compaction 前提就没了
badger 的 value log GC 为什么总失败
badger 把大 value 单独存 vlog,GC 是唯一回收手段,但默认配置在生产环境极易静默失败。
最常踩的坑是磁盘空间判断太宽松:
Go 配置库,使用 spf13/viper — 分层优先级(flag > env >file > KV > default),提供 BindPFlag/BindPFlags、SetEnvPrefix + SetEnvKeyReplace 等功能。
-
DB.RunValueLogGC(0.7)中的 0.7 是“vlog 占用率阈值”,但 GC 运行前会检查剩余磁盘空间是否 >1GB —— 如果只剩 800MB,它直接跳过,日志只写skipping GC due to low disk space -
ValueThreshold设太小(如 1KB),会导致大量小 value 进 vlog,GC 时要重写巨量碎片文件,IO 拉满且易超时 - 监控必须盯死两个指标:
value_log_size(所有 vlog 总大小)和disk_usage_percent(挂载点使用率),不能只看 badger 自己的GetDiskUsage
手动触发 full compaction 时为啥数据反而查不到了
调 pebble.DB.Compact 或 badger.DB.RunValueLogGC 后出现“刚写进去的 key 突然查不到”,通常不是 compaction 漏了数据,而是 snapshot 语义被破坏。
根本原因是:compaction 过程中,旧文件还没删、新文件已写入,但迭代器(iterator)没做版本隔离:
- pebble 的
Iterate默认不校验 TTL,如果 key 编码里带时间戳(如append([]byte(fmt.Sprintf("%d_", expireAt)), originalKey)),必须在迭代时自己 decode 并过滤,否则返回过期脏数据 - badger 的
View函数创建只读事务时,底层 snapshot 是基于当前head的,但如果 compaction 正在重写 vlog,View可能读到部分更新状态 - 正确做法:用
DB.NewSnapshot()显式获取快照,再用该快照创建 iterator,确保一致性视图
为什么 Leveled 和 Universal 策略不能随便换
pebble 默认用 Leveled,badger 用的是类似 Universal 的变种,但直接改 Options.Levels 数组或硬切策略,往往导致 compaction 频率失控、磁盘 IO 打满。
差异不在 API 开关,而在层级膨胀模型:
- Leveled 要求每层容量严格指数增长(如 L1=10×L0,L2=10×L1),
Levels[i].SizeRatio必须实测;设成 5 可能让 L2 堆积过慢,L1 持续 compaction - Universal 更依赖文件数量而非大小,
Levels[0].NumFilesStallThreshold一设错,L0 文件数冲到上百,读放大直接破百 - 真实 workload 决定策略:key 分布倾斜(如 10% key 占 90% 访问)适合 Leveled;写入速率波动大、value 大小不均,Universal 更稳
TargetFileSize 和 SizeRatio。golang免费学习笔记(深入):立即使用
在学习笔记中,你将探索golang的核心概念和高级技巧!










