3월 11일, Lingyiwu는 전체 탐색 그래프를 기반으로 하는 새로운 벡터 데이터베이스 "Descartes"의 출시를 발표했습니다. 이 데이터베이스는 권위 있는 목록 ANN-Benchmarks의 6개 데이터 세트 평가에서 1위를 차지했습니다. AI 시대의 정보 검색 기술로도 알려진 벡터 데이터베이스는 RAG(Retrieval-Augmented Generation)의 핵심 기술 중 하나입니다. 대형 모델 애플리케이션 개발자에게 벡터 데이터베이스는 대형 모델의 성능에 어느 정도 영향을 미치는 매우 중요한 인프라입니다. 국제적으로 권위 있는 평가 플랫폼 ANN-Benchmarks의 오프라인 테스트에서 Zero One Descartes 벡터 데이터베이스가 6개의 데이터 세트 평가 중 1위를 차지했습니다. 이는 이전 목록의 업계 1위보다 나은 수치입니다. 상당한 성능 개선, 일부 데이터 세트의 성능 개선은 심지어 2배를 초과합니다. Zero One Everything은 가까운 시일 내에 공식 출시될 AI 제품에 데카르트 벡터 데이터베이스가 사용되며, 향후 도구와 결합하여 개발자에게도 제공된다는 의미입니다. 벡터 데이터베이스가 AI 2.0 인프라가 되다대형 모델로 대표되는 AI 2.0 시대의 도래와 함께 사진, 동영상, 자연어 등 정형 데이터를 처리하는 기존 데이터베이스와는 달리 비정형 데이터의 양이 급증하고 있다. 벡터 데이터베이스는 벡터화된 비정형 데이터를 저장, 관리, 쿼리 및 검색하는 데 특별히 사용됩니다. 이는 대형 모델에서 언제든지 호출하여 "장기 메모리"를 형성할 수 있는 외부 메모리 디스크와 같습니다. 해마". 대형 모델에는 당연히 네 가지 결함이 있습니다. 벡터 데이터베이스는 모든 문제점을 정확하게 해결할 수 있는 맞춤형 "특수 약"과 같습니다.
- 실시간 정보: 대규모 모델 훈련은 시간이 오래 걸리고, 업데이트가 느리고, 최신 정보를 반영할 수 없으며, 지식이 "마감"이라는 과제에 직면합니다. 벡터 데이터베이스는 최신 정보를 신속하게 보완할 수 있는 경량 업데이트 메커니즘을 채택합니다.
- 개인 정보 보호: 사용자의 안전한 개인 데이터를 대규모 모델 훈련에 직접 제공해서는 안 됩니다. 그렇지 않으면 유출 위험이 있습니다. 벡터 데이터는 정보 전송을 위한 중간 전달자 역할을 하여 개인 정보 보호의 어려움을 해결합니다. 추론 단계.
- 환상 교정: 대형 모델에서 흔히 나타나는 추론 왜곡이나 환각 현상은 벡터 데이터베이스에서 제공하는 풍부한 지식 참조를 통해 효과적으로 교정하고 완화할 수 있습니다.
- 추론 효율성: 대규모 모델의 추론 비용은 높습니다. 벡터 데이터베이스는 각 쿼리 요청에 대해 복잡한 추론 계산을 다시 실행할 필요가 없도록 캐싱 메커니즘으로 사용할 수 있으므로 컴퓨팅 리소스를 크게 절약할 수 있습니다.
AI 2.0으로 시작된 기술 변화와 플랫폼 변화로 인해 벡터 데이터베이스의 역할이 더욱 강화되었습니다. 구글, 마이크로소프트, 메타 등 주요 제조사의 관련 제품이 속속 나오고, 질리즈, 파인콘, 위비에이트, 퀀트란트 등 스타트업도 등장했다. 2023년에는 OpenAI의 벡터 데이터베이스 파트너인 Pinecone이 1억 3,800만 달러의 시리즈 B 자금 조달을 완료했으며, 국내 스타트업인 Fabarta ArcNeural도 수억 위안의 Pre-A 라운드 자금 조달을 완료했습니다. ANN-Benchmarks는 업계에서 가장 권위 있는 벡터 데이터베이스 성능 테스트 도구입니다. 다양한 실제 상황에서의 알고리즘 성능.
다음 6개의 평가 데이터 세트에는 장갑-25-각도, 장갑-100-각도, 선별-128-유클리드, nytimes-256-각도, 패션-mnist-784-유클리드, gist-960-유클리드 6개가 포함됩니다. 주요 데이터 세트에서 가로축은 재현율을 나타내고 세로축은 QPS(초당 처리된 요청 수)를 나타냅니다. 곡선 위치가 오른쪽 상단에 가까울수록 알고리즘 성능이 향상됩니다. 6개의 데이터 세트에서 평가에서 가장 높은 수준에 있습니다.
日 3월 10일 현재 Ann-Benchmarks 6개 항목 평가에서 정보 검색(검색 등)을 측정하는 '처리량 QPS' 부문에서 DESCARTES 벡터 데이터베이스가 1위를 차지했습니다. 엔진 또는 데이터베이스). 원본 목록의 TOP1을 기반으로 Zero-One Thousand Things Cartesian Vector Database는 일부 데이터 세트의 성능이 2배 이상 향상되었습니다. 목록의 원래 TOP1보다 286% 앞서 있습니다.卡 1백만 개의 소재 데카르트 벡터 데이터베이스와 원본 목록 TOP1 QPS 성능 비교
공개하는 방법은 데카르트가 위의 우수한 성능을 달성하는 방법입니다.
우리 모두 알고 있듯이 RAG는 검색과 생성을 결합한 기술로, 대용량 데이터에서 쿼리 정보를 검색하여 언어 모델의 생성 기능을 향상시킵니다. 본질적으로 RAG 벡터 검색은 두 가지 주요 문제를 해결합니다. 1. 특정 인덱스 구조를 설정하여 검색 대상 세트를 줄입니다.
2. 복잡성.
Zero-One Cartesian Vector Database는 복잡한 쿼리 처리, 검색 효율성 향상, 데이터 저장 최적화 측면에서 업계에 비해 상당한 비교 우위를 가지고 있습니다. 첫 번째 질문과 관련하여 Zero One World 팀에는 두 가지 주요 킬러가 있습니다.
- 전체 내비게이션 지도 기술을 선도합니다. 현재 업계 상황은 주로 해싱, KD-Tree, VP-Tree 및 기타 방법을 사용하고 있습니다. Zero One이 개발한 글로벌 다층 썸네일 탐색 기술은 탐색 효과가 정확하지 않고 자르기 강도도 충분하지 않습니다. Wanwu와 지도의 좌표계 탐색은 정확성을 보장하고 관련 없는 많은 벡터를 잘라낼 수 있습니다.
- 업계 격차를 메우기 위한 최초의 적응형 이웃 선택 전략. 01Wuxing의 자체 개발된 적응형 이웃 선택 전략은 과거 실제 topk 또는 고정된 에지 선택 전략에만 의존했던 한계를 뛰어넘었습니다. 새로운 전략을 통해 각 노드는 자신의 분포 특성을 기반으로 최적의 이웃 에지를 동적으로 선택할 수 있습니다. 및 그 이웃은 대상 벡터에 더 빠르게 수렴하여 RAG 벡터 검색 성능을 15%-30% 향상시킵니다.
두 번째 질문의 경우 Zero One Wish는 2단계 양자화 방식enhanced RAG를 채택했습니다. Zero One Thousand는 2단계 양자화를 사용하여 계산 복잡성을 줄이는 동시에 SIMD의 동시성 기능을 최대한 활용하여 기존 PQ 테이블 조회와 비교하여 성능이 2~3배 향상됩니다. . 또한 Zero One Wish는 데카르트 벡터 데이터베이스의 성능을 향상시키기 위해 인덱스 구조 최적화 및 연결성 보장과 같은 풀 스택 벡터 기술 솔루션도 보유하고 있습니다. 풀 스택 벡터 기술: 더 높은 정확도와 더 강력한 성능위의 풀 스택 벡터 기술의 축복으로 Zero One Thousand Cartesian Vector Database는 권위 있는 목록에서 1위를 차지했을 뿐만 아니라 ANN-에서 1위를 차지했습니다. 6 벤치마크 리뷰. 또한 실제 적용 시나리오에서 더 높은 정확도와 더 강력한 성능과 같은 핵심 이점도 있습니다. Zero One Everything Cartesian Vector Database는 현재 고성능 벡터 데이터베이스에 중점을 두고 있습니다. 고성능 벡터 데이터베이스는 일반적으로 수천만 이하(예: 128차원 부동 소수점 벡터 2천만 개) 규모의 벡터 데이터 세트를 의미합니다. 일반적으로 고성능 벡터 데이터베이스는 일일 데이터의 80~90%를 쉽게 처리할 수 있습니다. 예를 들어, 기업 고객이 자율 주행 분야에서 개인 도메인 지식 기반 및 지능형 고객 서비스 시스템을 구축하는 데 도움을 주고, 고성능 벡터 데이터베이스를 사용하면 자율 주행 모델 훈련을 가속화할 수 있습니다. Zero One Thousand 고성능 벡터 데이터베이스에는 다음과 같은 장점이 있습니다.
- 초고정확도: 다층 썸네일 및 좌표계, 레이어 간 탐색 및 지도 기반 방향 탐색이 구현될 뿐만 아니라 연결성이 보장되며 정확도는 99% 이상입니다. 동일한 성능에서 정확도는 업계 수준보다 훨씬 앞서 있습니다.
- 초고성능: 효율적인 가장자리 선택 및 자르기 기술, 수천만 데이터베이스 ms 응답.
전자상거래 추천 시나리오를 예로 들어보겠습니다. 진열대에 있는 제품의 수는 수천만 개가 될 수 있으며 각 제품은 벡터로 표현될 수 있습니다. 라이브러리의 벡터 수가 많지 않더라도 전자 상거래 사용자 기반이 매우 크고 피크 시간대의 초당 사용자 요청 수가 매우 많으면 수십만 또는 수백만 QPS에 도달할 수 있습니다. . 고성능 벡터 데이터베이스를 사용하면 전자상거래 시나리오에서 검색 및 광고 서비스의 추천 효과를 효과적으로 향상시켜 모든 사람이 계속 구매할 수 없게 만듭니다. Zero One Everything Representation인 데카르트 벡터 데이터베이스는 팀의 RAG 기반 초기 시도이며, 가까운 시일 내에 출시되는 AI 생산성 제품에 효과적으로 사용될 것입니다. 미래에는 각 주요 모델이 어느 정도 최적화된 후 벡터 데이터베이스의 기능에 따라 각 주요 모델의 상한선이 결정될 수 있습니다. 제로원위시는 앞으로도 사용자들에게 더 나은 기술과 경험을 선사하기 위해 연구개발과 나눔에 집중하겠습니다. 위 내용은 01Wang이 자체 개발한 전체 내비게이션 지도 벡터 데이터베이스가 권위 있는 목록에서 6위를 휩쓸었습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
