Le modèle open source de 7 milliards de paramètres de Stanford est comparable à GPT-3.5 et peut être reproduit pour 100 $

À mesure que les modèles linguistiques à grande échelle deviennent de plus en plus puissants, les gens ont mis en avant des exigences éthiques plus élevées pour les modèles d'IA. L'industrie bénéficie de l'avantage des ressources informatiques en termes d'expansion de l'échelle du modèle, mais rendre le modèle plus standardisé et plus fiable nécessite les efforts de la communauté universitaire.

Récemment, Stanford a peaufiné un nouveau modèle Alpaca basé sur le modèle LLaMA 7B de Meta. Cette étude a utilisé le modèle text-davinci-003 d'OpenAI pour générer 52 000 échantillons suivant les instructions de manière auto-instructive en tant que données d'entraînement pour Alpaga. L'équipe de recherche a ouvert les données de formation, le code permettant de générer les données de formation et les hyperparamètres, et publiera les poids du modèle et le code de formation à l'avenir.

• Adresse du projet : https://github.com/tatsu-lab/stanford_alpaca
• Adresse d'essai : https://alpaca-ai-custom6.ngrok.io/

Les résultats expérimentaux montrent que de nombreux comportements de l'Alpaga sont similaires à ceux de text-davinci-003. En d’autres termes, les performances d’Alpaca, un modèle léger avec seulement 7 paramètres B, sont comparables à des modèles de langage à très grande échelle tels que GPT-3.5.

Voyons comment le modèle Alpaga procède.

Méthodes de formation

La formation de modèles de suivi d'instruction de haute qualité dans le cadre des contraintes budgétaires du monde universitaire est confrontée à deux défis importants : des modèles linguistiques pré-entraînés puissants et des données de suivi d'instruction de haute qualité.

La série de modèles LLaMA récemment publiée par Meta relève le premier défi. Pour le deuxième défi, l'article d'auto-instruction de fin 2022 propose d'utiliser des modèles de langage puissants existants pour générer automatiquement des données d'instruction.

Adresse papier : https://arxiv.org/abs/2212.10560

Suite à cette approche, Alpaca utilise l'apprentissage supervisé du modèle LLaMA 7B dans text-davinci- 003 Les instructions 52K générées de manière auto-instructive sont affinées en fonction des échantillons.

Aperçu de la méthode d'auto-instruction.

L'équipe de recherche d'Alpaca a d'abord utilisé 175 paires d'instructions-sorties écrites manuellement dans l'ensemble de graines d'auto-instruction, puis a utilisé cet ensemble de graines comme exemple d'invite en contexte text-davinci-003 pour générer Plus d'instructions. Cette recherche améliore la méthode d'auto-instruction en simplifiant le pipeline de construction et réduit considérablement les coûts.

L'étude a généré un total de 52 000 instructions différentes et résultats correspondants sous forme de données de formation, en utilisant l'API ouverte d'OpenAI pour un coût inférieur à 500 $. Depuis que l'équipe de recherche a rendu les données d'entraînement open source, les développeurs qui souhaitent reproduire Alpaca peuvent économiser 500 $.

Avec cet ensemble de données suivant les instructions, l'étape suivante de la recherche consistait à affiner le modèle LLaMA à l'aide du cadre de formation de Hugging Face, en tirant parti de techniques telles que FSDP (Fully Sharded Data Parallel) et de précision mixte. entraînement. En termes de coût, le réglage fin d'un modèle 7B LLaMA sur huit A100 de 80 Go prend 3 heures, ce qui coûte moins de 100 $ pour la plupart des fournisseurs de cloud.

Évaluation du modèle

L'étude a été évaluée manuellement à l'aide des données d'un ensemble d'évaluation d'auto-instruction, qui a été réalisée par 5 étudiants de l'équipe de recherche. L'ensemble d'évaluation a été collecté par les auteurs du document d'auto-instruction et couvre une variété d'instructions orientées utilisateur impliquant le courrier électronique, les médias sociaux et les outils bureautiques.

Après une comparaison aveugle par paire de text-davinci-003 et d'Alpaca 7B, les chercheurs ont constaté que les performances des deux modèles sont très similaires et qu'Alpaca est légèrement meilleure que text-davinci-003.

Du point de vue de l'échelle des paramètres, Alpaca est beaucoup plus petit que text-davinci-003, et le terminal mobile peut même exécuter un modèle de langage léger 7B. Cela rend l’alpaga important.

En plus d'utiliser l'ensemble d'évaluation d'auto-instruction statique mentionné ci-dessus, cette étude a également mené des tests interactifs sur le modèle Alpaca et a révélé que l'Alpaga fonctionnait généralement de manière similaire à text-davinci-003.

Vous trouverez ci-dessous deux exemples testés par l'équipe de recherche. Les résultats montrent que le rendement d'Alpaca est bon et reflète le style général de l'instruction suivant l'ensemble de données. Par exemple, Alpaca produit souvent des réponses plus concises que ChatGPT, similaires à text-davinci-003.

Défauts du modèle

Dans l'expérience, Alpaca a également montré plusieurs défauts courants des modèles de langage, notamment l'hallucination, la toxicité et les stéréotypes, parmi lesquels le problème des hallucinations est particulièrement grave.

Par exemple, dans l'image ci-dessous, Alpaca a répondu que la capitale de la Tanzanie est Dar es Salaam, mais qu'elle devrait en réalité être Dodoma.

De plus, Alpaca est capable de générer des textes qui peuvent paraître bons mais qui contiennent des erreurs ou de fausses informations, qui peuvent induire les gens en erreur.

Alpaca peut contenir de nombreux autres défauts liés au modèle de langage sous-jacent et aux données de réglage des instructions. Cependant, Alpaca reste important pour la communauté du machine learning car il fournit un modèle relativement léger qui peut servir de base à l’étude de défauts importants. L’équipe de recherche de Stanford a également souligné que l’alpaga ne peut être utilisé qu’à des fins de recherche universitaire et que toute utilisation commerciale est interdite.

Ensuite, l'équipe de recherche de Stanford explorera plus en détail la sécurité, la capacité de compréhension, l'expansion à l'échelle, etc. du modèle Alpaga. L'équipe de recherche espère qu'Alpaca facilitera le développement de modèles de suivi des instructions.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!