Autorag: Optimisation des pipelines de chiffon avec automne open source

Au cours des derniers mois, la génération de la récupération (RAG) a monté en flèche en popularité en tant que technique puissante pour combiner des modèles de langues importants avec des connaissances externes. Cependant, le choix du bon pipeline de chiffon - d'indexation, de modèles d'intégration, de méthode de chasse, d'approche de réponse aux questions - peut être intimidant. Avec d'innombrables configurations possibles, comment pouvez-vous être sûr du pipeline qui convient le mieux à vos données et à votre cas d'utilisation? C'est là que Autorag entre en jeu.

Objectifs d'apprentissage

• Comprendre les principes fondamentaux de l'autorag et comment il automatise l'optimisation du pipeline de chiffon.
• Découvrez comment Autorag évalue systématiquement différentes configurations de chiffon pour vos données.
• Explorez les principales caractéristiques de l'autorag, y compris la création de données, l'expérimentation du pipeline et le déploiement.
• Gardez une expérience pratique avec une procédure pas à pas de la configuration et de l'utilisation de l'autorag.
• Découvrez comment déployer le pipeline de chiffon le mieux performant à l'aide du flux de travail automatisé d'Autorag.

Cet article a été publié dans le cadre du Data Science Blogathon.

Table des matières

• Qu'est-ce que l'autorag?
• Comment Autorag optimise les pipelines de chiffon
• Déploiement du meilleur pipeline de chiffon
• Pourquoi pas de pas en passant par les passages Autorag
• Conclusion
• Questions fréquemment posées
Qu'est-ce que l'autorag?
AUTORAG ​​est un outil d'Open-source et Automated Machine Machine Learning) axé sur le chiffon. Il teste et évalue systématiquement différents composants de pipeline de chiffon sur votre propre ensemble de données pour déterminer quelle configuration fonctionne le mieux pour votre cas d'utilisation. En exécutant automatiquement des expériences (et en manipulant des tâches telles que la création de données, le groupe, la génération de jeux de données QA et les déploiements de pipelines), Autorag vous fait gagner du temps et des tracas.

Pourquoi Autorag?

• De nombreux pipelines et modules de chiffon : Il existe de nombreuses façons possibles de configurer un système de chiffon - tailles de chasse au texte diffu, incorpore, modèles rapides, modules de retriever, etc.
• Expérimentation chronophage : Tester manuellement chaque pipeline sur vos propres données est lourd. La plupart des gens ne le font jamais, ce qui signifie qu'ils pourraient manquer de meilleures performances ou une inférence plus rapide.
• Adapté à vos données et cas d'utilisation : Les références génériques peuvent ne pas refléter la façon dont un pipeline fonctionnera sur votre corpus unique. Autorag supprime les conjectures en vous permettant d'évaluer sur des paires de QA réelles ou synthétiques dérivées de vos propres données.

Caractéristiques clés

• Création de données : Autorag vous permet de créer des données d'évaluation des chiffons à partir de vos propres documents bruts, fichiers PDF ou autres sources de texte. Téléchargez simplement vos fichiers, analysez-les dans RAW.PARQUET, faites-les les lancer dans Corpus.Parquet et générez automatiquement des ensembles de données QA.
• Optimisation : Autorag automatise des expériences de course (réglage hyperparamètre, sélection de pipeline, etc.) pour découvrir le meilleur pipeline de chiffons pour vos données. Il mesure des métriques comme la précision, la pertinence et l'exactitude factuelle par rapport à votre ensemble de données QA pour identifier la configuration la plus performante.
• Déploiement : Une fois que vous avez identifié le meilleur pipeline, Autorag rend le déploiement simple. Une seule configuration YAML peut déployer le pipeline optimal dans un serveur FLASK ou un autre environnement de votre choix.

Construit avec Gradio sur les étreintes des espaces de visage

L'interface conviviale

Autorag est construite à l'aide de Gradio, et il est facile d'essayer sur les espaces de visage étreints. L'interface graphique interactive signifie que vous n'avez pas besoin d'une expertise technique profonde pour exécuter ces expériences - suivez simplement les étapes pour télécharger des données, choisir des paramètres et générer des résultats.

comment Autorag optimise les pipelines de chiffon

Avec votre ensemble de données QA en main, Autorag peut automatiquement:

• Tester plusieurs types de retriever (par exemple, basé sur un vecteur, mot-clé, hybride).
• Explorer différentes tailles de morceaux et les stratégies de chevauchement.
• Évaluer les modèles d'incorporation (par exemple, les intérêts Openai, les transformateurs de visage étreintes).
• Tourne les modèles d'invite pour voir qui donne les réponses les plus précises ou les plus pertinentes.
• Mesurer les performances par rapport à votre ensemble de données QA à l'aide de mesures telles que la correspondance exacte, le score F1 ou les mesures spécifiques au domaine personnalisé.

Une fois les expériences terminées, vous aurez:

• Une liste classée des configurations de pipelines triées par des métriques de performance.
• Clear Insights dans lesquelles les modules ou les paramètres donnent les meilleurs résultats pour vos données.
• Un meilleur pipeline généré automatiquement que vous pouvez déployer directement à partir de l'autorag.

Déployer le meilleur pipeline de chiffons

Lorsque vous êtes prêt à aller en direct, Autorag rationalise le déploiement:

• Configuration YAML unique : Générez un fichier YAML décrivant vos composants de pipeline (retriever, embedder, modèle de générateur, etc.).
• Exécutez sur un serveur FLASK : hébergez votre meilleur pipeline sur une application FLASK locale ou basée sur le cloud pour une intégration facile avec votre pile logicielle existante.
• Espaces de visage de gradio / étreintes : Alternativement, déployez sur des espaces faciaux étreintes avec une interface de gamio pour une démo interactive sans tracas, une démo interactive de votre pipeline.

Pourquoi utiliser Autorag?

Laissez-nous maintenant voir pourquoi vous devriez essayer Autorag:

• Gagnez du temps en permettant à Autorag de gérer le levage lourd de l'évaluation de plusieurs configurations de chiffon.
• Améliorer les performances avec un pipeline optimisé pour vos données et besoins uniques.
• Intégration transparente avec Gradio sur les espaces de visage étreintes pour des démos rapides ou des déploiements de production.
• open source et axé sur la communauté, afin que vous puissiez le personnaliser ou l'étendre pour répondre à vos besoins exacts.

Autorag est déjà tendance sur GitHub - jointer la communauté et voir comment cet outil peut révolutionner votre flux de travail de chiffon.

Pour commencer

• Consultez Autorag sur GitHub: Explorez le code source, la documentation et les exemples de la communauté.
• Essayez la démo Autorag sur les espaces de face étreintes : Une démo basée sur Gradio est disponible pour télécharger des fichiers, créer des données QA et expérimenter différentes configurations de pipelines.
• contribuer : En tant que projet open source, Autorag accueille les PR, les rapports de problèmes et les suggestions de fonctionnalités.

Autorag supprime la conjecture de la création de systèmes de chiffon en automatisant la création de données, l'expérimentation du pipeline et le déploiement. Si vous voulez un moyen rapide et fiable de trouver la meilleure configuration de chiffon pour vos données, faites tourner Autorag et laissez les résultats parler pour eux-mêmes.

étape par étape pas à pas de l'autorag

Flux de travail de création de données, incorporant les captures d'écran que vous avez partagées. Ce guide vous aidera à analyser les PDF, à chasser vos données, à générer un ensemble de données QA et à le préparer à d'autres expériences de chiffon.

Étape 1: Entrez votre clé API Openai

• Ouvrez l'interface Autorag.
• Dans la section "Autorag Data Creation" (Capture d'écran # 1), vous verrez une invite demander votre clé API OpenAI.
• Collez votre touche API dans la zone de texte et appuyez sur Entrée.
• Une fois entré, le statut doit passer de «non réglé» sur «valide» (ou similaire), confirmant que la clé a été reconnue.

Remarque: Autorag ne stocke ni ne enregistre pas votre clé API.

Vous pouvez également choisir votre langue préférée (anglais, 한국어, 日本語) dans le côté droit.

Étape 2: analyser vos fichiers PDF

• Faites défiler vers le bas vers "1.Parse vos fichiers PDF" (capture d'écran # 2).
• Cliquez sur «Télécharger des fichiers» pour sélectionner un ou plusieurs documents PDF sur votre ordinateur. L'exemple de capture d'écran montre un fichier PDF de 2,1 Mo nommé 66EB856E019E… IC… PDF.
• Choisissez une méthode d'analyse dans la liste déroulante.
• Les options communes incluent le pdfmin, le pdfplumber et le pyMupdf.
• Chaque analyseur a des forces et des limites, alors envisagez de tester plusieurs méthodes si vous rencontrez des problèmes d'analyse.
• Cliquez sur «Exécuter l'analyse» (ou le bouton d'action équivalent). Autorag lira vos PDF et les convertira en un seul fichier RAW.Parquet.
• Surveiller la zone de texte pour les mises à jour de progression.
• Une fois l'analyse terminée, cliquez sur «Télécharger Raw.Parquet» pour enregistrer les résultats localement ou dans votre espace de travail.

Astuce: Le fichier brut.Parquet est vos données de texte analysées. Vous pouvez l'inspecter avec n'importe quel outil qui prend en charge le parquet si nécessaire.

Étape 3: Chunk Your Raw.Parquet

• Passez à «2. Chunk Your Raw.Parquet »(Capture d'écran # 3).
• Si vous avez utilisé l'étape précédente, vous pouvez sélectionner «Utiliser la précédente RAW.PARQUET» pour charger automatiquement le fichier. Sinon, cliquez sur «Télécharger» pour apporter votre propre fichier .PARQUET.

Choisissez la méthode de section:

• Token : morceaux par un nombre spécifié de jetons.
• phrase : divise le texte par les limites de la phrase.
• sémantique : pourrait utiliser une approche basée sur l'incorporation pour morceau de texte sémantiquement similaire.
• Recursif : peut se replier à plusieurs niveaux pour des segments plus granulaires.

Définissez maintenant la taille du morceau avec le curseur (par exemple, 256 jetons) et se chevauchent (par exemple, 32 jetons). Le chevauchement aide à préserver le contexte à travers les limites des morceaux.

• Cliquez sur " Exécuter Chunking ".
• Regardez la boîte de texte pour une confirmation ou des mises à jour d'état.
• après l'achèvement, " Téléchargez Corpus.Parquet " pour obtenir votre ensemble de données nouvellement foutu.

Pourquoi secouer?

Le morceau divise votre texte en pièces gérables que les méthodes de récupération peuvent gérer efficacement. Il équilibre le contexte avec pertinence afin que votre système de chiffon ne dépasse pas les limites de jetons ou la focalisation du sujet dilué.

Étape 4: Créez un ensemble de données QA à partir de corpus.parquet

dans le «3. Créez un ensemble de données QA à partir de votre section Corpus.Parquet ”(Capture d'écran # 4), téléchargez ou sélectionnez votre corpus.parquet.

Choisissez une méthode QA:

• par défaut : une approche de base qui génère des paires de questions et réponses.
• Fast : priorise la vitesse et réduit les coûts, peut-être au détriment de détails plus riches.
• Advanced : Peut produire des paires de questions / réponses plus approfondies et plus riches en contexte mais peut être plus chère ou plus lente.

Sélectionner le modèle pour la création de données:

• Les exemples d'options incluent GPT-4O-MINI ou GPT-4O (votre interface peut énumérer des modèles supplémentaires).
• Le modèle choisi détermine la qualité et le style des questions et réponses.

Nombre de paires QA:

• Le curseur passe généralement de 20 à 150. Pour une première course, gardez-le petit (par exemple, 20 ou 30) pour limiter le coût.

Taille du lot à Openai Modèle:

• par défaut est 16, ce qui signifie 16 paires de questions / réponses par demande par lots. Abaissez-le si vous voyez des erreurs de limite de taux.

Cliquez sur " Exécuter la création de QA ". Une mise à jour d'état apparaît dans la zone de texte.

Une fois terminé, Télécharger QA.Parquet pour récupérer votre ensemble de données Q&R créé automatiquement.

Avertissement de coût: la génération de données de questions-réponses appelle l'API OpenAI, qui entraîne des frais d'utilisation. Surveillez votre utilisation sur la page de facturation OpenAI si vous prévoyez d'exécuter de grands lots.

Étape 5: Utilisation de votre ensemble de données QA

Maintenant que vous avez:

• corpus.parquet (vos données de document en morceaux)
• QA.Parquet (paires de questions / réponses générées automatiquement)

Vous pouvez les alimenter dans le flux de travail d'évaluation et d'optimisation d'Autorag:

• Évaluer plusieurs configurations de chiffon - testez différents retrievers, tailles de morceaux et modèles d'intégration pour voir quelle combinaison répond les meilleures questions dans QA.Parquet.
• Revoir les métriques de performance (correspondance exacte, F1 ou critères spécifiques au domaine) pour identifier le pipeline optimal.
• Déployer Votre meilleur pipeline via un seul fichier de configuration YAML - Autorag peut faire tourner un serveur FLASK ou un autre point de terminaison.

Étape 6: Rejoignez la liste d'attente du studio de création de données (facultative)

Si vous souhaitez personnaliser votre ensemble de données QA généré automatiquement - rédiger les questions, filtrer certains sujets ou ajouter des directives spécifiques au domaine - Autorag propose un studio de création de données. Inscrivez-vous à la liste d'attente directement dans l'interface en cliquant sur «Rejoignez la liste d'attente du studio de création de données».

Conclusion

Autorag propose une approche rationalisée et automatisée pour optimiser les pipelines de génération (RAG) de la récupération (RAG), en gardant un temps et des efforts précieux en testant différentes configurations adaptées à votre ensemble de données spécifique. En simplifiant la création de données, le chunking, la génération de jeux de données QA et le déploiement du pipeline, Autorag garantit que vous pouvez rapidement identifier la configuration de chiffon la plus efficace pour votre cas d'utilisation. Avec son interface et son intégration conviviales avec les modèles d'OpenAI, Autorag offre aux utilisateurs novices et expérimentés un outil fiable pour améliorer efficacement les performances du système de chiffon.

Les plats clés

• Autorag automatise le processus d'optimisation des pipelines de chiffon pour de meilleures performances.
• Il permet aux utilisateurs de créer et d'évaluer des ensembles de données personnalisés adaptés à leurs besoins de données.
• L'outil simplifie le déploiement du meilleur pipeline avec une seule configuration YAML.
• La nature open source d'Autorag favorise les améliorations et la personnalisation axées sur la communauté.

Les questions fréquemment posées

Q1. Qu'est-ce que Autorag, et pourquoi est-il utile?

a. Autorag est un outil automatique open source pour optimiser les pipelines de génération (RAG) de récupération (RAG) en automatisant les expériences de configuration.

Q2. Pourquoi dois-je fournir une clé API OpenAI?

a. Autorag utilise des modèles OpenAI pour générer des paires de questions et réponses synthétiques, qui sont essentielles pour évaluer les performances du pipeline de chiffon.

Q3. Qu'est-ce qu'un fichier RAW.Parquet, et comment est-il créé?

a. Lorsque vous téléchargez des PDF, Autorag extrait le texte dans un fichier parquet compact pour un traitement efficace.

Q4. Pourquoi ai-je besoin de couler mon texte analysé, et qu'est-ce que Corpus.Parquet?

a. Le Chunking casse de grands fichiers texte en segments plus petits et récupérables. La sortie est stockée dans Corpus.parquet pour de meilleures performances de chiffon.

Q5. Et si mes PDF sont protégés par mot de passe ou scannés?

a. Les PDF cryptés ou basés sur l'image ont besoin de suppression de mot de passe ou de traitement OCR avant de pouvoir être utilisés avec Autorag.

Q6. Combien cela coûtera-t-il de générer des paires de questions et réponses?

a. Les coûts dépendent de la taille du corpus, du nombre de paires de questions / réponses et du choix du modèle OpenAI. Commencez par de petits lots pour estimer les dépenses.

Le média présenté dans cet article ne appartient pas à l'analyse vidhya et est utilisé à la discrétion de l'auteur.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!