C++ 在倒排索引中怎么使用 Posting List 压缩算法(如 Frame-of-Reference)减小存储

千强姑娘_4643

千强姑娘_4643

2026-10-23

805人浏览

原创

for适合posting list,因其利用doc_id单调递增特性,通过块内base+delta编码实现高压缩比、快速随机访问和cpu友好解码。

c++ 在倒排索引中怎么使用 posting list 压缩算法(如 frame-of-reference)减小存储

Frame-of-Reference(FOR)为什么适合倒排索引的 Posting List

倒排索引中每个 PostingList 是文档 ID(docid)的单调递增序列,比如 [1024, 1038, 1045, 1059, 1072]。直接存原始 int32_t 浪费空间——相邻差值(delta)通常很小,且局部范围集中。FOR 的核心思路就是:对每块(block)取最小值(base),其余元素存相对于它的偏移(delta = docid - base),再用最小位宽统一编码这些偏移。

它比通用压缩(如 LZ4)更适合,因为:不依赖历史上下文、解压随机访问快(只需定位 block + 解码 offset)、CPU 友好(纯位操作)、天然支持跳过(skip list 兼容)。

怎么实现一个简单的 FOR block 编码器(C++)

标准做法是固定 block 大小(如 128 个 docid),每块独立处理。关键不是“全量压缩”,而是“按需解压单个位置”或“顺序遍历”。以下逻辑必须闭环:

  • base 存为完整整数(如 uint32_t),放在 block 头部
  • 计算该 block 内所有 delta 的最大值,用 std::bit_width(max_delta)(C++20)或手动算出所需 bit 数 bits
  • 把所有 delta 按 bits 位宽连续写入 bitstream(不能按字节对齐!)
  • 解压时先读 base,再从 bitstream 中每次取 bits 位还原 delta,累加得原始 docid

示例片段(简化版,无 bitstream 封装):

C++14
C++14

C++14 对 C++11 的修正与增强版本,适合旧系统维护和较老工具链兼容。

下载
struct FORBlock {
    uint32_t base;
    uint8_t bits;
    std::vector<uint8_t> data; // packed deltas, MSB-first per group
};
<p>// encode: given vector<uint32_t> docs, block_size=128
uint32_t base = docs[0];
uint32_t max_delta = 0;
for (size_t i = 1; i </uint32_t></p></uint8_t>

FOR 和 Variable-Byte(VByte)混用时要注意什么

实际系统(如 Lucene、Sphinx)常对短 posting list 用 VByte(更省 header 开销),长 list 才切 FOR block。但混合策略容易踩坑:

  • 不要在同一个 PostingList 内部混用两种格式——解码逻辑分支多、cache 不友好、难以做 SIMD 加速
  • FOR 的 block size 必须是编译期或配置期确定的常量(如 constexpr int BLOCK_SIZE = 128),否则无法做向量化解码(AVX2 处理 4 个 block 并行)
  • VByte 解码依赖前导字节标志位,而 FOR 解码依赖预知 bits,二者元数据存储方式完全不同;若强行统一接口,bits 字段对 VByte 是冗余,length 字段对 FOR 是冗余
  • 真实场景中,FOR 更适合 SSD 友好型设计(顺序读 + 预取友好),VByte 更适合内存受限但 CPU 强的场景

解压性能瓶颈往往不在 bitpacking,而在内存布局

很多人花时间优化 bitshift 和 mask,但实测发现真正卡点是:block 头部(base + bits)和 payload(data)物理分离,导致每次解压都要两次 cache miss。更优做法是把 base 和 bits 直接塞进 payload 前 6 字节(例如:4B base + 1B bits + 1B padding),让整个 block 连续分配。

另外,FOR 不支持 O(1) 随机访问第 k 个 docid——必须从 block 开头解码到目标位置。如果业务需要高频 get(k),要么加 skip pointer(额外存储每第 16 个 offset 的位置),要么改用 PForDelta(带异常值处理的 FOR 变种)。

FOR 的压缩率高度依赖数据分布:网页爬虫索引(docid 稀疏跳跃)可能只压到 3.2 bits/delta,而日志类时序索引(docid 几乎连续)能压到 1.1 bits/delta。上线前务必用真实语料跑 sizeof(PostingList) 对比测试。

C++免费学习笔记(深入):立即使用
在学习笔记中,你将探索 C++ 的入门与实战技巧!

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
c++和c语言的区别有哪些
c++和c语言的区别有哪些

c++和c语言的区别:1、面向对象编程(OOP)支持不同;2、新增特性不同;3、标准库不同;4、编译方式不同;5、命名空间不同等等。想了解更多c++的相关内容,可以阅读本专题下面的文章。

2024.03.14

2248

9

c++和python学习顺序推荐
c++和python学习顺序推荐

一般建议先学习C++,再学习Python,因为这样可以逐步从较为底层的编程语言向更高级的语言过渡。想了解更多python的相关内容,可以阅读本专题下面的文章。

2024.03.14

1019

6

python和c++学习性价比分析
python和c++学习性价比分析

Python易于学习,广泛应用于Web开发、数据科学和人工智能等领域,但性能较低。C语言性能高,适用于对性能要求较高的场景,如游戏开发和系统编程,但学习曲线陡峭,错误处理复杂。想了解更多python的相关内容,可以阅读本专题下面的文章。

2024.03.14

447

5

c语言和c++一样吗
c语言和c++一样吗

c语言和c++是两种不同的编程语言,虽然有相似之处,但存在显著差异。c语言专注于过程式编程和系统级开发,以简洁、高效著称。c++作为c语言的超集,引入了面向对象编程,增强了代码组织和管理能力,但学习曲线也更陡峭。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.03.14

327

5

c语言和c++先学哪个好
c语言和c++先学哪个好

初学者选择学习c语言还是c++语言,需要根据个人学习目标、背景以及编程兴趣和预期应用方向来决定。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.03.14

426

5

c语言和c++的区别和联系
c语言和c++的区别和联系

c语言和c++是计算机科学领域应用广泛的编程语言。虽然它们有着相似的基础,但它们在语言类型、语法功能和内存管理方面存在着显著差异。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.03.14

580

5

c++软件中文更改教程
c++软件中文更改教程

对于 ide,可通过打开设置,找到语言设置,选择中文,并保存更改。对于非 ide 应用程序,可查找设置或选项,选择语言设置,更改为中文,并保存更改。想了解更多c++的相关内容,可以阅读本专题下面的文章。

2024.03.21

1409

9

python和java和c++学习性价比分析
python和java和c++学习性价比分析

Python以其易学性、丰富的库和活跃的社区而著称,适合数据科学、人工智能和Web开发。Java以其跨平台性、企业级应用开发和Android应用开发而闻名。C++以其底层控制能力、高效性能和游戏开发而著称。选择哪种语言取决于个人兴趣、职业方向和特定需求。想了解更多python和java和c++的相关内容,可以阅读本专题下面的文章。

2024.03.22

1217

7

c++和c语言学习顺序推荐
c++和c语言学习顺序推荐

对于初学者,建议先学习C语言,掌握编程基础后再转入C++,便于理解面向对象编程概念。有编程经验者可直接学习C++,快速接触高级编程技术。想了解更多c++和c语言的相关内容,可以阅读本专题下面的文章。

2024.03.25

1325

9

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
C++ 手册教程
C++ 手册教程

共41课时 | 78.4万人学习

尚学堂ios初级视频教程
尚学堂ios初级视频教程

共77课时 | 21.3万人学习

C++ Core Guidelines
C++ Core Guidelines

共0课时 | 0人学习