Comment créer des applications LLM avec tutoriel Langchain

Les capacités des modèles de grande langue (LLMS) tels que GPT-3 d'OpenAI, Bert de Google et le lama de Meta transforment diverses industries en permettant la génération de divers types de texte, allant du contenu marketing et du code de la science des données en poésie. Bien que Chatgpt ait attiré une attention importante en raison de son interface de chat conviviale, de nombreuses possibilités inexploitées existent pour tirer parti des LLM en les intégrant dans différentes applications logicielles.

Si vous êtes captivé par les pouvoirs transformateurs de l'IA et des LLM génératifs, ce didacticiel est parfait pour vous. Ici, nous explorons Langchain - un cadre Python open source pour la création d'applications basée sur de grands modèles de langage tels que GPT.

en savoir plus sur la création d'applications d'IA avec Langchain dans notre Créer des applications d'intestation multimodales avec Langchain & The Openai API Code AI le long de où vous découvrirez comment poser des questions sur le contenu YouTube avec le Whisper Speech-Text AI, puis utiliser GPT pour poser des questions sur le contenu.

Quels sont les modèles de grande langue (LLMS)?

Les modèles de grandes langues (LLM) se réfèrent à des systèmes d'intelligence artificielle avancés conçus pour comprendre et générer du texte humain. Ces modèles sont formés sur de grandes quantités de données, leur permettant de saisir des modèles complexes, de comprendre les nuances linguistiques et de générer des réponses cohérentes. Les LLM ont la capacité d'effectuer diverses tâches liées à la langue, notamment la traduction du langage, l'achèvement du texte, la résumé et même les interactions conversationnelles. GPT est un exemple de llm.

LLM est un type d'ai génératif. Si vous souhaitez en savoir plus sur l'IA génératrice et comment il peut augmenter votre créativité, consultez nos blogs sur l'utilisation de l'IA génératrice pour augmenter votre créativité et notre podcast, à l'intérieur de la révolution générative de l'IA. Vous pouvez également vous inscrire à notre cours à venir sur les concepts de modèles de grande langue.

Introduction à Langchain

Langchain est un cadre open source conçu pour faciliter le développement d'applications alimentées par des modèles de grande langue (LLM). Il propose une suite d'outils, de composants et d'interfaces qui simplifient la construction d'applications centrées sur LLM. Avec Langchain, il devient sans effort de gérer les interactions avec les modèles de langage, de relier transparence différents composants et d'intégrer des ressources telles que les API et les bases de données. Vous pouvez en savoir plus sur Langchain pour l'ingénierie des données et les applications de données dans un article distinct. 

La plate-forme Langchain est livrée avec une collection d'API que les développeurs peuvent intégrer dans leurs applications, ce qui les permettant à l'infuser des capacités de traitement du langage sans avoir à tout construire à partir de zéro. Par conséquent, Langchain simplifie efficacement le processus de création d'applications basées sur LLM, ce qui le rend adapté aux développeurs à travers le spectre de l'expertise.

Les applications comme les chatbots, les assistants virtuels, les utilitaires de traduction linguistique et les outils d'analyse des sentiments sont tous des cas d'applications alimentées par LLM. Les développeurs exploitent Langchain pour créer des applications basées sur un modèle de langue sur mesure qui répondent à des besoins spécifiques.

Avec les progrès continus et l'adoption plus large du traitement du langage naturel, les applications potentielles de cette technologie devraient être pratiquement illimitées. Voici plusieurs caractéristiques notables de Langchain:

1. Invites sur mesure pour répondre à vos exigences spécifiques

2. Construire des composants de liaison de chaîne pour les scénarios d'utilisation avancés

3. Intégration de modèles pour l'augmentation des données et l'accès à des capacités de modèle de langue de premier ordre, telles que GPT et HuggingFace Hub.

4. Composants polyvalents qui permettent le mélange et la correspondance pour des besoins spécifiques

5. Manipuler le contexte pour établir et guider le contexte pour une précision améliorée et une satisfaction des utilisateurs

Configuration de Langchain dans Python

L'installation de Langchain dans Python est assez simple. Vous pouvez l'installer avec PIP ou Conda.

Installez en utilisant PIP

pip install langchain

Installer en utilisant conda

install langchain -c conda-forge

Cela mettra en place les nécessités de base de Langchain. Une grande partie de l'utilité de Langchain est réalisée lorsqu'elle est intégrée à divers fournisseurs de modèles, magasins de données, etc.

Par défaut, les dépendances requises pour ces intégrations ne sont pas incluses dans l'installation. Pour installer toutes les dépendances, vous pouvez exécuter la commande suivante:

pip install langchain[all]

L'option finale consiste à construire la bibliothèque à partir de la source. Dans ce cas, vous pouvez cloner le projet à partir de son repo github.

Configuration de l'environnement

L'utilisation de Langchain nécessite généralement des intégrations avec divers fournisseurs de modèles, magasins de données, API et composants similaires. Comme pour toute intégration, nous devons fournir des clés API appropriées et pertinentes pour que Langchain fonctionne. Il existe deux façons d'y parvenir:

1. Configuration de la clé en tant que variable d'environnement

OPENAI_API_KEY="..."

Si vous préférez ne pas définir une variable d'environnement, vous pouvez transmettre la touche directement via le paramètre Openai_API_KEY nommé lors de la mise en place de la classe Openai LLM:

2. Configurez directement la clé dans la classe pertinente

pip install langchain

Composants clés de Langchain

Langchain se démarque en raison de son accent sur la flexibilité et la modularité. Il démonte le pipeline de traitement du langage naturel en composants distincts, permettant aux développeurs d'adapter les flux de travail en fonction de leurs besoins. Cette adaptabilité rend Langchain idéal pour construire des applications d'IA dans divers scénarios et secteurs.

Composants et chaînes

Dans Langchain, les composants sont des modules remplissant des fonctions spécifiques dans le pipeline de traitement du langage. Ces composants peuvent être liés à des "chaînes" pour les flux de travail sur mesure, tels qu'une chaîne de chatbot de service client avec analyse des sentiments, reconnaissance de l'intention et modules de génération de réponse.

Modèles d'invite

Les modèles d'invites sont des invites prédéfinies réutilisables entre les chaînes. Ces modèles peuvent devenir dynamiques et adaptables en insérant des «valeurs» spécifiques. Par exemple, une invite demandant le nom d'un utilisateur pourrait être personnalisée en insérant une valeur spécifique. Cette fonctionnalité est bénéfique pour générer des invites basées sur des ressources dynamiques.

Magasins vectoriels

Ceux-ci sont utilisés pour stocker et rechercher des informations via des intégres, analysant essentiellement les représentations numériques des significations des documents. VectorStore sert d'installation de stockage pour ces intérêts, permettant une recherche efficace basée sur la similitude sémantique.

index et retrievers

Les index agissent comme des bases de données stockant les détails et les métadonnées sur les données de formation du modèle, tandis que Retrievers recherche rapidement cet index pour des informations spécifiques. Cela améliore les réponses du modèle en fournissant un contexte et des informations connexes.

Analyseurs de sortie

Les analyseurs de sortie entrent en jeu pour gérer et affiner les réponses générées par le modèle. Ils peuvent éliminer le contenu indésirable, adapter le format de sortie ou compléter des données supplémentaires à la réponse. Ainsi, les analyseurs de sortie aident à extraire des résultats structurés, comme les objets JSON, à partir des réponses du modèle de langue.

Exemples de sélecteurs

Des exemples de sélecteurs à Langchain servent à identifier les instances appropriées à partir des données de formation du modèle, améliorant ainsi la précision et la pertinence des réponses générées. Ces sélecteurs peuvent être ajustés pour privilégier certains types d'exemples ou filtrez les out liés, fournissant une réponse AI sur mesure basée sur l'entrée utilisateur.

AGENTS

Les agents sont des instances de Langchain uniques, chacune avec des invites, de la mémoire et de la chaîne spécifiques pour un cas d'utilisation particulier. Ils peuvent être déployés sur diverses plateformes, y compris le Web, le mobile et les chatbots, s'adressant à un large public.

Comment créer une application de modèle de langue dans Langchain

Langchain fournit une classe LLM conçue pour l'interfaçage avec divers fournisseurs de modèles de langage, tels que Openai, Cohere et Embring Face. La fonctionnalité la plus élémentaire d'un LLM est de générer du texte. Il est très simple de créer une application avec Langchain qui prend une invite de chaîne et renvoie la sortie.

pip install langchain

sortie :

& gt; & gt; & gt; "Qu'obtenez-vous lorsque vous bridez les données? Un scientifique des données!"

Dans l'exemple ci-dessus, nous utilisons le modèle Text-ADA-001 d'OpenAI. Si vous souhaitez échanger cela contre tous les modèles open source de HuggingFace, c'est un simple changement:

install langchain -c conda-forge

Vous pouvez obtenir l'ID de jeton de moyeu de face étreint de votre compte HF.

Si vous avez plusieurs invites, vous pouvez envoyer une liste d'invites à la fois en utilisant la méthode générée:

pip install langchain[all]

sortie :

Il s'agit de l'application la plus simple possible que vous pouvez créer à l'aide de Langchain. Il faut une invite, l'envoie à un modèle de langue de votre choix et renvoie la réponse. Il existe de nombreux paramètres que vous pouvez contrôler, comme la «température». Le paramètre de température ajuste l'aléatoire de la sortie, et il est réglé à 0,7 par défaut.

Gestion des modèles d'invite pour les LLM à Langchain

LLMS ont des API particulières. Bien qu'il puisse sembler intuitif de saisir des invites en langage naturel, il nécessite en fait un ajustement de l'invite pour atteindre la sortie souhaitée d'un LLM. Ce processus de réglage est connu sous le nom d'ingénierie rapide. Une fois que vous avez une bonne invite, vous voudrez peut-être l'utiliser comme modèle à d'autres fins.

Un instomplate d'invite à Langchain vous permet d'utiliser des modèles pour générer une invite. Ceci est utile lorsque vous souhaitez utiliser le même contour invite à plusieurs endroits, mais avec certaines valeurs modifiées.

OPENAI_API_KEY="..."

sortie :

1. Montez la tour Eiffel et admirez la vue imprenable sur la ville

2. Profitez d'une croisière romantique le long de la rivière Seine et admirez la belle architecture le long des berges

3. Explorez le Louvre et admirez les œuvres d'art de renommée mondiale exposées

Si vous souhaitez maintenant réutiliser cette invite pour une ville différente, vous n'avez qu'à modifier la variable user_input. Je l'ai maintenant changé de Paris à Cancun, au Mexique. Voyez comment la sortie a été modifiée:

sortie :

1. Détendez-vous sur la plage: profitez des plages de sable blanc et des eaux cristallines de la mer des Caraïbes.

2. Explorez les ruines mayas: visitez les anciens sites archéologiques tels que Chichen Itza, Tulum et Coba pour en savoir plus sur l'histoire et la culture des Mayas.

3. Faites une visite gastronomique: goûtez les saveurs traditionnelles et découvrez la cuisine locale en faisant une visite gastronomique de Cancun.

combinant des LLM et des invites dans les workflows en plusieurs étapes

Le chaînage dans le contexte de Langchain fait référence à l'acte d'intégration de LLMS à d'autres éléments pour créer une application. Plusieurs exemples incluent:

• combinant séquentiellement plusieurs LLMS en utilisant la sortie du premier LLM comme entrée pour le deuxième LLM (voir cette section)
• Intégration des LLM avec des modèles invités
• Fusion de LLM avec des données externes, comme pour la réponse aux questions
• Incorporer des LLM avec une mémoire à long terme, comme l'historique du chat

Voyons un exemple du premier scénario où nous utiliserons la sortie du premier LLM comme entrée au deuxième LLM.

pip install langchain

sortie :

Dans cet exemple particulier, nous créons une chaîne avec deux composants. Le premier composant est chargé d'identifier la ville la plus populaire correspondant à un pays particulier en tant que contribution par l'utilisateur. En revanche, le deuxième composant se concentre sur la fourniture d'informations sur les trois principales activités ou attractions disponibles pour les touristes visitant cette ville spécifique.

Si vous souhaitez apprendre plus de concepts avancés de création d'applications à Langchain, consultez ce cours en direct sur la création d'applications d'IA avec Langchain et GPT sur Datacamp.

Conclusion et apprentissage plus approfondi

Il y a seulement peu de temps, nous avons tous été très impressionnés par les capacités impressionnantes de Chatgpt. Cependant, le paysage a rapidement évolué, et maintenant nous avons accès à de nouveaux outils de développeur comme Langchain qui nous permettent de créer des prototypes remarquables similaires sur nos ordinateurs portables personnels en quelques heures.

Langchain, un framework Python open source, permet aux individus de créer des applications alimentées par LLMS (modèles de modèles de langage). Ce cadre offre une interface polyvalente à de nombreux modèles fondamentaux, facilitant la gestion rapide et servant de centre central pour d'autres composants tels que des modèles rapides, des LLM supplémentaires, des données externes et d'autres outils par le biais d'agents (au moment de la rédaction).

Si vous essayez de suivre toutes les progrès de Generative AI et LLM, consultez nos applications d'IA de construction avec le webinaire Langchain et GPT. Ici, vous apprendrez les bases de l'utilisation de Langchain pour développer des applications AI, ainsi que la façon de structurer une application d'IA et comment intégrer des données de texte pour des performances élevées. Vous pouvez également voir notre feuille de triche sur le paysage des outils d'IA génératifs pour explorer les différentes catégories d'outils d'IA génératifs, leurs applications et leur influence dans divers secteurs. Enfin, consultez notre liste des meilleurs LLMS open-source pour en savoir plus sur d'autres outils puissants.

Gagnez une certification AI supérieure

démontrer que vous pouvez utiliser efficacement et responsable AI.get certifié, obtenez

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!