ring选择amazon rds for postgresql搭配pgvector实现十亿级语义视频搜索，放弃专用向量数据库和s3-ann方案，因其在成本、延迟（<2秒）、运维熟悉度及数据共置要求上更优，成功支撑全球多洲高并发实时检索。
当你使用Ring的语义视频搜索来查找特定瞬间时:“我家后院的狗”、“包裹递送”或“穿蓝色衬衫的人”——你期望在包含时间、空间和事件的即时、准确结果时,能够从数天或数周的录音中展现出合适的画面。提供这种语义视频搜索,即系统理解查询的含义,而非依赖精确的关键词匹配,需要采用PostgreSQL和pgvector的新方法,该方法针对数十亿尺度的视频数据进行存储和搜索优化。
本文将Ring在Amazon RDS for PostgreSQL上分享其数十亿次的语义视频搜索,其中包含pgvector架构决策与替代方案、性价比级挑战、关键经验以及未来方向的对比。Ring团队为全球范围内的矢量搜索架构设计,旨在通过矢量嵌入支持数百万客户,这是人工智能模型生成的视觉内容数字表示的关键技术。通过将视频帧转换为按比例排列的数字,以捕捉每帧中发生的情况(视觉内容)——Ring 可以将这些表示存储到数据库中,并通过相似性搜索进行搜索。当输入“包递送”时,系统会将该文本转换为向量,并在不到两秒的时间内找到其传输效果最相似且具有最相似效果的视频帧。
全球范围内的搜索视频
林格的使命简单却雄心勃勃:让社区更安全。12年来,Ring一直致力于完善视频技术的清晰度和可靠性,以便邻居们能够密切关注最重要的事情——无论是家人从学校安全回家,还是深受爱戴的宠物,却一直走得太远。为完成这一使命,Ring 每天在全球数百万台设备上生成大量视频数据。
视频搜索系统大规模运行。该解决方案覆盖四大洲和9个AWS地区,每天满足数十亿个读取请求,同时对数百万客户保持严格的延迟要求。
传统的基于元数据的搜索依赖标签、时间戳或手动注释,无法支持自然语言查询。Ring 需要一种截然不同的方法,能够大规模进行相似性搜索,在不降低查询性能的情况下进行实时摄取,根据用户对用户进行数据隔离,并严格设置隐私对齐,以及跨区域的操作弹性,以应对万圣节等事件导致的流量激增,此时门铃活动频繁。
评估替代方案
在投入生产架构之前,工程团队在成本、查询延迟和操作复杂性三个维度上进行了结构化评估。
专用矢量数据库
多个专用的矢量搜索解决方案列出了最初的候选名单。在纸面上,他们提供了引人入胜的功能——专用的索引、近似的近邻搜索(ANN)以及原生嵌入工作流。然而在实践中,它们并不符合Ring的个人资料。在查询量和数据量尺度上,成本结构令人望而却步。这些系统针对混合关键词/矢量搜索模式进行了优化;工作量几乎完全是密集的矢量检索,使得增加的复杂性难以证明其合理性。
根据Ring的1亿至2000亿个嵌入规模,每天新增约20亿个专用矢量数据库,成本过高。在 Amazon RDS for PostgreSQL 的基础上,pgvector 避免了高昂的基础设施成本,同时降低了持续的索引维护开销——使工程团队能够专注于功能而非操作。
支持S3的ANN原型
该团队还探索了使用亚马逊简单存储服务(Amazon S3)作为嵌入存储的定制AN线下流程。架构很简单:在S3中存储高维嵌入向量,在查询时将其向下拉到计算层,并在内存中运行最近邻的搜索。它奏效了——但还不够快。从对象存储获取嵌入的往返延迟始终超过了Ring的子-2秒端到端服务级别协议(SLA)。实验之所以有价值,vector data and query execution must be co-located正是因为它确认了一个严格的架构约束:向量数据和查询执行必须同时进行。无法通过缓存或预设来抽象它,以满足延迟要求。
为何使用 pgvector 支持 PostgreSQL 的 RDS 获胜
由于专用的矢量数据库解决方案在成本和契合度上已排除,而S3原型则排除了延迟,团队通过pgvector扩展在RDS for PostgreSQL上实现了整合。这一决定虽务实,但理由充分。
工程师们已经具备深厚的 PostgreSQL 操作专长——架构设计、查询调优、复制和可观测性。引入全新的矢量数据库意味着要进入一个完全独立的系统:新的故障模式、新的操作手册以及新的监控漏洞。通过pgvector,团队直接在他们信任并理解的数据库引擎内,通过分层可导航小世界(HNSW)或倒置文件平(IVFFlat)进行索引。
正如Ring的工程师们所说:“我们使用 PostgreSQL 作为向量数据库。”这算不上解决办法。这是一种刻意的架构选择,可将关系型和矢量工作负载整合成一个单一且广为人知的层级,且无需增加可操作的表面积即可满足所有生产需求。
通过选择带有pgvector的Amazon RDS for PostgreSQL,Ring将原本可能耗资巨大的基础设施扩展技术转变为功能扩展。该架构将关系型和向量工作负载整合为一个单一的、可操作优化的层级——无需添加新的故障模式或独立的数据库基础设施,即可满足成本、延迟和可靠性的生产需求。这种方法在无需架构重新设计的情况下,就将空间扩展至超过十亿个嵌入,从而证明合适的选择正是符合您操作现实的选择。
