sqlite에서 증강 증강 생성

이 두 부분으로 구성된 시리즈는 머신 러닝 용 SQLITE를 사용하여 탐색합니다. 이전 기사는 제작 준비 웹 애플리케이션에서 SQLITE의 역할 증가에 대해 논의했습니다. 이 기사는 SQLITE를 사용하여 검색 방지 생성 (RAG)을 구현하는 데 중점을 둡니다. 생성 AI가있는 사용자 정의 웹 애플리케이션의 경우 Losangelesaiapps.com을 방문하십시오 코드를 사용할 수 있습니다

. 전통적인 래그 구현은 종종 다음과 관련이 있습니다

래그에서 튜토리얼 검색 인기있는 프레임 워크 선택 (Langchain, llamaindex) 클라우드 벡터 데이터베이스 선택 (Pinecone, Weaviate) 이러한 구성 요소를 통합합니다

효과적이지만이 접근법은 특히 초보자에게 지나치게 복잡 할 수 있습니다. 이 기사에서는 확장 및 OpenAI API를 사용하여 SQLITE를 사용한 더 간단한 방법을 보여줍니다. 이 시리즈의 1 부에서는 SQLITE 기능에 대한 자세한 개요를 제공합니다. 이 기사에서는 단일 파일 데이터베이스로서 SQLITE의 단순성을 이해하는 것으로 충분합니다. 이 접근법은 클라우드 벡터 데이터베이스 및 부피가 큰 프레임 워크의 필요성을 제거합니다. sqlite-Vec : sqlite의 전력 확장 sqlite의 강도는 확장성에 있습니다. Python 라이브러리와 유사한 확장자는 C로 작성된 기능을 추가합니다. 대표적인 예는 FTS (Full-Text Search) 확장자입니다. 벡터 검색 기능을 추가하여 키워드 일치 이상의 의미 론적 이해를 가능하게합니다. "말"을 검색하면 "승마자"또는 "조랑말"을 반환 할 수 있습니다 는 가상 테이블을 사용하여 제공합니다

사용자 정의 데이터 소스 :

데이터는 데이터베이스 파일 외부에 상주 할 수 있습니다 (예 : CSV, API). 유연한 기능 : 특수 인덱싱 및 복잡한 데이터 유형을 지원합니다 원활한 통합 : 표준 sqlite 쿼리 구문과 통합 모듈 :

백엔드 로직은 별도의 모듈에서 구현됩니다

가상 테이블은 다음을 사용하여 작성됩니다

모듈을 지정합니다 ( 코드 연습

Code ()는

파일을 샘플 데이터 (주로 물리 관련)로 사용합니다. 는 sqlite 데이터베이스 파일입니다

설치 :

는 필요한 라이브러리를 나열합니다 (

,

, ). 가상 환경을 만들고

OpenAi API 키 : sqlite-vec OpenAI API 키를 얻으십시오

확장자로드 : 파이썬 코드는 확장을로드하고 가상 테이블을 만듭니다 : .

sqlite-vec 테이블 스토어 스토어 내장 (), Filenames () 및 컨텐츠 (). 는 보조 필드를 나타냅니다

삽입 및 삽입 : 코드는 파일을 통해 반복하고 OpenAi API를 사용하여 임베딩을 생성하고 데이터베이스에 삽입합니다.

CREATE VIRTUAL TABLE my_table USING my_extension_module();

rag query : knn query는 유사성을 포함하여 유사한 문서를 검색합니다.

documents 그런 다음 결과는 쿼리에 응답하기 위해 OpenAi 채팅 완료의 컨텍스트로 사용됩니다. 결론 embedding file_name content 래그를 크게 단순화합니다. 복잡한 프레임 워크 및 클라우드 서비스가 필요하지 않아 비용 효율적이고 반복하기 쉽습니다. 스케일링에는 결국보다 강력한 데이터베이스가 필요할 수 있지만 는 소규모 프로젝트를위한 강력한 솔루션을 제공합니다. 확장자는 여러 프로그래밍 언어를 지원합니다

위 내용은 sqlite에서 증강 증강 생성의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!