3 月 11 日，零一万物宣布推出基于全导航图的新型向量数据库 「笛卡尔（Descartes）」，已包揽权威榜单 ANN-Benchmarks 6 项数据集评测第一名。向量数据库，又被称为 AI 时代的信息检索技术，是检索增强生成（Retrieval-Augmented Generation, RAG）内核技术之一。对大模型应用开发者来说，向量数据库是非常重要的基础设施，在一定程度上影响着大模型的性能表现。在国际权威评测平台 ANN-Benchmarks 离线测试中，零一万物笛卡尔（Descartes）向量数据库登顶 6 份数据集评测第一名，比之前榜单上同业第一名有显著性能提升，部分数据集上的性能提升甚至超过 2 倍以上。零一万物表示，笛卡尔向量数据库将用在近期即将正式亮相的 AI 产品中，未来也将结合工具提供给开发者。随着大模型为代表的 AI 2.0 时代到来，图片、视频、自然语言等多模态的非结构化数据量陡增，区别于用来处理结构化数据的传统数据库。向量数据库专门用来存储、管理、查询和检索向量化的非结构化数据；它就像一块外接的记忆盘，可供大模型随时调用，以形成「长期记忆」，也被昵称为大模型记忆的「海马体」。大模型天然有四个缺陷，向量数据库就像是量身定制的「特效药」，能精准解决每个痛点。
- 实时信息：大模型训练时间长，更新慢，无法反应最新的信息，其知识存在「截止期」的挑战。向量数据库采用轻量化更新机制，可以快速补充最新信息。
- 隐私保护：用户的安全隐私数据不宜直接提供给大模型训练，否则会有泄密风险，向量数据通过在推理阶段扮演信息传递的中间载体，破解了隐私保护的难关。
- 幻觉矫正：大模型常表现出的推理失真或产生幻觉的现象，可以通过向量数据库提供的丰富知识参照，有效矫正和减轻此类问题。
- 推理效率：大模型推理成本高，向量数据库能够作为一种缓存机制，避免每一次查询请求都需要重新执行复杂的推理计算，大大节省了计算资源。
AI 2.0 掀起的科技变革和平台变革，进一步强化了向量数据库的作用。Google、微软、Meta 等大厂的相关产品先后问世，Zilliz、Pinecone、Weaviate、Qdrant 等创业公司也异军突起。2023 年，OpenAI 的向量数据库合作方 Pinecone 完成了 B 轮 1.38 亿美元融资，国内初创企业 Fabarta ArcNeural 也完成了上亿元 Pre-A 轮融资。ANN-Benchmarks 是当下业界最权威的向量数据库性能测试工具，它可以展示不同算法在不同真实数据集下的表现。在以下 6 份评测数据集涵盖 glove-25-angular、glove-100-angular、sift-128-euclidean、nytimes-256-angular、fashion-mnist-784-euclidean、gist-960-euclidean 六大数据集，横坐标代表召回、纵坐标代表 QPS (每秒内处理的请求数)，曲线位置越偏右上角意味着算法性能越好，零一万物笛卡尔向量数据库在 6 项数据集评测中都处于最高位。
截至 3 月 10 日，ANN-Benchmarks6 项评测中，零一万物笛卡尔（Descartes）向量数据库均居第一「吞吐量 QPS」 是衡量信息检索系统（例如搜索引擎或数据库）查询处理能力的重要指标。在原榜单 TOP1 基础上，零一万物笛卡尔向量数据库实现了显著性能提升，部分数据集上的性能提升超过 2 倍以上，在 gist-960-euclidean 数据集维度更大幅领先榜单原 TOP1 286%。
零一万物笛卡尔向量数据库与原榜单 TOP1 QPS 性能对比众所周知，RAG 是一种结合了检索和生成的技术，它通过从海量数据中检索查询到的信息，来增强语言模型的生成能力。和传统检索方法类似，从本质上讲，RAG 向量检索主要解决两大问题：1. 通过建立某种索引结构，减少检索考察的候选集；零一万物笛卡尔向量数据库在处理复杂查询、提高检索效率以及优化数据存储方面相比业界拥有显著的比较优势。针对第 1 个问题，零一万物团队有两大杀手锏：
- 領先的全導航圖技術。 目前業內現況主要透過哈希、KD-Tree、VP-Tree 等方式，導航效果不夠精確，裁剪力道不夠，零一萬物研發的全局多層縮圖導航技術，圖上坐標系導航，既能保證精度，又能裁剪大量無關向量。
- 首創自適應鄰居選擇策略，填補業界空白。 零一萬物自研的自適應鄰居選擇策略，突破了以往僅依賴真實topk 或固定邊選擇策略的局限，新策略使每個節點可以根據自身及鄰居的分佈特徵動態地選取最佳鄰居邊，更快收斂接近目標向量，從而讓RAG 向量檢索效能提高15%-30%。
針對第 2 個問題，零一萬物採用了兩層量化方案增強 RAG。零一萬物以兩級量化降低運算複雜度，同時列式儲存充分利用 SIMD 的同時能力，進一步發揮硬體能力，相較於傳統 PQ 查表，效能大幅提升到 2-3 倍。 除此之外，零一萬物還有索引結構最佳化、連結性保障等全端向量技術方案提升笛卡爾向量資料庫的效能。 透過上述全端向量技術的加持，讓零一萬物笛卡爾向量資料庫不僅登頂權威榜單ANN-Benchmarks6 項評測第一名。更在實際應用場景中具有精度更高、效能更強等核心優勢。 零一萬物笛卡爾向量資料庫目前聚焦於高效能向量資料庫。高效能向量資料庫通常是指向量資料集規模在千萬級及以下（如2,000 萬128 維浮點型向量），通常而言，高效能向量資料庫可以輕鬆應對百分之八九十的日常場景，例如幫助企業客戶建立私域知識庫、智慧客服系統；在自動駕駛領域，使用高效能向量資料庫可加速自動駕駛模型訓練等。
基於多層縮圖和座標系實現層間導航和圖上方位導航，以及圖連通性保障，實現精度大於99%，相同性能下，精度大幅領先業內水平。 ###############超高效能：###高效的邊選擇與裁切技術，千萬資料庫 ms 回應。 #####################以電商推薦場景為例，上架商品數量可能千萬級，每個商品可以由一個向量來表達。即使庫中向量數不算很大，如果電商用戶基數非常龐大，高峰時每秒用戶請求數非常大，可能達到幾十萬甚至上百萬的 QPS。使用高效能向量資料庫可以有效提升電商場景裡面搜尋、廣告業務的推薦效果，讓大家忍不住一直買買買。 ###############零一萬物表示，笛卡爾向量資料庫是團隊基於 RAG 的初步嘗試，將在近期發布的 AI 生產力產品中有效應用。未來各家大模型優化到一定程度後，向量資料庫的能力可能決定各家大模型的天花板。零一萬物後續會持續專注於研發與分享，為使用者帶來更好的技術與體驗。 ###
以上是零一萬物自研全導航圖向量資料庫，橫掃權威榜單6項第一的詳細內容。更多資訊請關注PHP中文網其他相關文章！
