Génération augmentée augmentée de récupération dans SQLite

Cette série en deux parties explore à l'aide de SQLite pour l'apprentissage automatique. L'article précédent a discuté du rôle croissant de SQLite dans les applications Web prêtes à la production. Cet article se concentre sur la mise en œuvre de la génération (RAG) de la récupération à l'aide de SQLite.

Pour les applications Web personnalisées avec une IA générative, visitez losangelesaiacs.com

Le code est disponible ici .

La mise en œuvre traditionnelle des chiffons implique souvent:

1. Recherche de tutoriels sur le chiffon.
2. Sélection d'un cadre populaire (Langchain, Llamaindex).
3. Choisir une base de données de vecteur de cloud (Pinecone, Weavate).
4. Intégration de ces composants.

Bien que efficace, cette approche peut être trop complexe, en particulier pour les débutants. Cet article montre une méthode plus simple utilisant SQLite avec l'extension sqlite-vec et l'API OpenAI. La partie 1 de cette série fournit un aperçu détaillé des capacités de SQLite. Pour cet article, il suffit de comprendre la simplicité de Sqlite en tant que base de données unique.

Cette approche élimine le besoin de bases de données de vecteur cloud et de frameworks volumineux.

SQLITE-VEC: Extension de la puissance de Sqlite

La force de Sqlite réside dans son extensibilité. Extensions, similaires aux bibliothèques Python, ajouter des fonctionnalités écrites en C. Un exemple est l'extension de recherche en texte intégral (FTS). sqlite-vec ajoute des capacités de recherche vectorielle, permettant une compréhension sémantique au-delà de la correspondance des mots clés. La recherche de "chevaux" peut retourner "équestre" ou "poney".

sqlite-vec utilise des tables virtuelles, l'offre:

• Sources de données personnalisées: Les données peuvent résider en dehors du fichier de base de données (par exemple, CSV, API).
• Fonctionnalité flexible: prend en charge l'indexation spécialisée et les types de données complexes.
• Intégration transparente: s'intègre à la syntaxe de requête SQLite standard.
• Modules: La logique backend est implémentée dans un module séparé.

Les tables virtuelles sont créées en utilisant:

CREATE VIRTUAL TABLE my_table USING my_extension_module();

my_extension_module() Spécifie le module (ici, vec0 de sqlite-vec).

Procédure de code du code

Le code ( Repo Link ) utilise des fichiers .txt comme exemples de données (principalement liées à la physique). my_docs.db est le fichier de base de données SQLite.

1. Installation: requirements.txt répertorie les bibliothèques nécessaires (sqlite-vec, openai, python-dotenv). Créez un environnement virtuel et exécutez pip install -r requirements.txt.

2. Clé API OpenAI: Obtenez une clé API Openai.

3. Chargement de l'extension: Le code Python charge l'extension sqlite-vec et crée une table virtuelle:

CREATE VIRTUAL TABLE my_table USING my_extension_module();

Le tableau documents stocke les intégres (embedding), les noms de fichiers (file_name) et le contenu (content). désigne les champs auxiliaires.

4. ENCRIPTION ET INSERRTION: Le code itère dans les fichiers .txt, génère des intégres à l'aide de l'API OpenAI et les insère dans la base de données:

db.enable_load_extension(True)
sqlite_vec.load(db)
db.enable_load_extension(False)

db.execute('''
    CREATE VIRTUAL TABLE documents USING vec0(
        embedding float[1536],
        +file_name TEXT,
        +content TEXT
    )
''')

5. requête RAG: Une requête KNN récupère des documents similaires basés sur la similitude d'intégration:

# ... (OpenAI embedding function) ...

for file_name in os.listdir("data"):
    # ... (Open file, get content, get embedding) ...
    db.execute(
        'INSERT INTO documents (embedding, file_name, content) VALUES (?, ?, ?)',
        (serialize_float32(embedding), file_name, content)
    )
db.commit()

Les résultats sont ensuite utilisés comme contexte pour une réalisation de chat Openai pour répondre à la requête.

Conclusion

sqlite-vec simplifie considérablement le chiffon. Il élimine le besoin de cadres complexes et de services cloud, ce qui le rend rentable et facile à itérer. Bien que l'échelle puisse éventuellement nécessiter une base de données plus robuste, sqlite-vec offre une solution convaincante pour les petits projets. L'extension prend en charge plusieurs langages de programmation.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!