短整型是压缩后的存储载体,关键在于用更少比特表达相同业务含义并保持时序访问能力;通过识别可降精度字段、分块索引、delta编码、对齐存储及轻量元数据管理,实现高压缩比与毫秒级随机访问。
短整型本身不是压缩手段,而是压缩后的存储载体。真正起效的是“用更少比特表达相同业务含义”,再配合结构化组织。难点不在类型切换,而在如何让压缩不牺牲时序数据的关键访问能力。
压缩起点:识别可降精度的字段
时序数据中大量字段天然适合短整型替代:
- 传感器状态码(0/1/2/3)、设备运行模式(1~8)、告警等级(1~5)——完全可用 uint8 表示;
- 温度、湿度、电压等物理量,若原始精度为 float32(±3.4e38),但业务仅需 ±50℃±0.1℃,则可用 int16 编码:偏移+缩放后映射为 0~1000,占 2 字节而非 4;
- 时间戳差值(delta time):秒级或毫秒级数据相邻点间隔常在几毫秒至几秒之间,用 int16 存储与上一时刻的差值,比存完整时间戳(int64)节省 6 字节。
结构难点:压缩后仍需 O(1) 下标随机访问
直接把 int32 数组转成 int16 数组看似省一半内存,但若后续要频繁读取第 N 条记录(如画波形图、做滑动窗口计算),就必须支持快速定位。而变长编码(如 VLQ)会破坏地址连续性。
解决方法是分块索引:
- 将压缩后的 short[] 按固定条数(如 1024 条)切分为“数据块”;
- 额外维护一个 int32[] 索引数组,记录每个块在 byte 流中的起始偏移;
- 查第 N 条时,先二分查到所属块号,再按块内偏移 × sizeof(short) 计算位置——仍为 O(log B + 1),B 是块数,实际性能接近 O(1)。
时序特性必须适配:时间局部性与批量写入
短整型压缩若脱离时序场景特征,容易变成“伪优化”。例如:
- 不做 delta 编码,直接截断 float → short,会丢失单调趋势,影响异常检测;
- 未对齐缓存行(如 64 字节),导致单次读取跨 cache line,反而拖慢向量化加载;
- 忽略写多读少特性,在每次写入都做解压-改值-重压,引入冗余计算。
正确做法是:写入路径只做一次压缩(如 float → int16 + scale/offset 元信息),存入对齐的 short buffer;读取路径按块批量解压到 SIMD 寄存器处理,避免逐点转换。
配套不可少:元信息轻量管理
压缩必然带来语义损失,必须附带轻量元数据才能还原业务意义:
- 每个 short 字段旁存 1~2 字节描述符:标明是否 delta 编码、缩放因子(10⁻¹/10⁻²)、零点偏移;
- 时间字段单独管理:主时间戳用 int64,其余用 int16 delta,复原时累加即可;
- 所有元信息集中存放于 header 区,不随每条数据重复,避免膨胀。
这样,1000 万条含 5 个传感器字段的秒级数据,原始 float32 占约 200MB;经 short 压缩 + delta + header,可压至 35~45MB,且保持毫秒级随机访问和向量化计算能力。










