8种向量存储实现(统一接口)——numpy、lancedb、qdrant、pgvector、weaviate、weaviate_hybrid、milvus、lightrag。在评估时使用。
矢量存储 Shootout是一项面向实际任务的技能,主要用于八矢量存储后端, 带有通用矢量存储接口. . 通过更改一条线来扫描后端—— 其余的代码保持不变.;Backends.;
它将相关步骤、工具调用和结果整理方式集中到统一流程中,帮助使用者更快完成目标并减少重复操作。使用时应结合输入条件选择合适的执行方式,核对必要参数、依赖环境与输出内容,并按原始要求处理异常情况。该技能适合需要稳定复用相关能力的场景,可作为自动化工作流的一部分,也便于后续检查、调整和扩展。从功能定位来看,该技能强调把分散的操作要求整理成清晰、可复用的处理流程,使用户能够围绕既定目标快速准备输入、选择执行方式并获得结构化结果。
实际使用前应先确认任务范围、数据来源、运行环境、必要权限和关键参数,再依据技能说明逐步执行;若输入条件不完整,应先补齐信息或采用保守配置,避免因错误假设导致结果偏离需求。执行过程中需要关注工具调用是否成功、接口或依赖是否可用、输出格式是否符合预期,并对异常提示、缺失字段和边界情况进行处理;涉及批量任务时,还应保存进度,避免中断后重复操作。
八种向量存储后端,均实现统一的 VectorStore 接口。仅需修改一行代码即可切换后端——其余代码完全无需改动。
| 后端 | 类型 | 依赖项 | 适用场景 |
|---|---|---|---|
| numpy | 内存中 | 仅需 numpy | 原型开发、小规模数据集 |
| lancedb | 基于文件 | lancedb | 本地持久化、原生支持 Arrow |
| qdrant | 客户端-服务端架构 | qdrant-client | 生产环境部署、支持过滤查询 |
| pgvector | Postgres 扩展 | psycopg2 | 已部署 Postgres 的现有系统 |
| weaviate | 客户端-服务端架构 | weaviate-client | 混合搜索(BM25 + 向量) |
| weaviate_hybrid | 客户端-服务端架构 | weaviate-client | 偏向 BM25 的混合搜索(alpha=0.1) |
| milvus | 客户端-服务端架构 | pymilvus | 大规模数据、GPU 加速场景 |
| lightrag | 图增强型 | lightrag | 图结构 + 向量的 RAG 应用 |
from base import VectorStore
class MyStore(VectorStore):
async def add(self, texts, embeddings, metadatas): ...
async def search(self, query_embedding, k=5): ...
async def delete(self, ids): ...
Weaviate 混合搜索在 alpha=0.1(即 BM25 占主导)时,平均得分为 0.9940,显著高于默认 alpha=0.5 时的 0.9700。对于包含大量专业术语的技术类内容,关键词匹配的重要性高于语义相似度匹配。
scripts/base.py — 抽象基类scripts/numpy_store.py 至 scripts/lightrag_store.py — 全部 8 种具体实现相关专题
热门下载
相关下载
精品课程
共6课时 | 54.7万人学习
共89课时 | 134.1万人学习
共49课时 | 82.6万人学习
最新文章