Présentation de huit solutions de grands modèles gratuites et open source car ChatGPT et Bard sont trop chers.

1.LLaMA

Le projet LLaMA contient un ensemble de modèles de langage de base avec des tailles allant de 7 milliards à 65 milliards de paramètres. Ces modèles sont formés sur des millions de jetons et sont entièrement formés sur des ensembles de données accessibles au public. En conséquence, le LLaMA-13B a ​​surpassé le GPT-3 (175B), tandis que le LLaMA-65B a eu des performances similaires aux meilleurs modèles tels que le Chinchilla-70B et le PaLM-540B.

Image de LLaMA

Source :

• Document de recherche : "LLaMA : Modèles de langage de fondation ouverts et efficaces (arxiv.org)" [https://arxiv.org/abs/2302.13971]
• GitHub : facebookresearch/llama [https://github.com/facebookresearch/llama]
• Démo : Baize Lora 7B [https://huggingface.co/spaces/project-baize/Baize-7B]

2.Alpaca

Alpaca de l'Université de Stanford affirme qu'il peut rivaliser avec ChatGPT et que n'importe qui peut le copier pour moins de 600 $. Alpaca 7B est affiné à partir du modèle LLaMA 7B sur une démonstration de suivi d'instructions de 52K.

Contenu de la formation｜Photos du CRFM de l'Université de Stanford

Ressources :

• Blog : CRFM de l'Université de Stanford. [https://crfm.stanford.edu/2023/03/13/alpaca.html]
• GitHub : tatsu-lab/stanford_alpaca [https://github.com/tatsu-lab/stanford_alpaca]
• Démo : Alpaga -LoRA (la démo officielle a été perdue, c'est une reproduction du modèle Alpaca) [https://huggingface.co/spaces/tloen/alpaca-lora]

3.Vicuna

Vicuna est collectés auprès de ShareGPT Affinez le modèle LLaMA en fonction des conversations utilisateur partagées. Le modèle Vicuna-13B a ​​atteint plus de 90 % de la qualité d'OpenAI ChatGPT et de Google Bard. Il a également surpassé les modèles LLaMA et Stanford Alpaca dans 90 % des cas. Le coût de formation d’une vigogne est d’environ 300 $.

Image de Vicuna

Source :

• Article de blog : "Vicuna : un chatbot open source impressionnant GPT-4 avec 90 %* de qualité ChatGPT" [https://vicuna.lmsys.org/]
• GitHub : lm-sys/FastChat [https://github.com/lm-sys/FastChat#fine-tuning]
• Démo : FastChat (lmsys.org) [https://chat.lmsys.org/]

4.OpenChatKit

OpenChatKit : Alternative open source à ChatGPT, c'est une boîte à outils complète pour créer des chatbots. Il fournit de grands modèles de langage pour former les utilisateurs aux propres ajustements des instructions, des modèles affinés, un système de récupération évolutif pour mettre à jour les réponses des robots et des instructions pour filtrer l'examen des questions par les robots.

Photos de TOGETHER

On peut voir que le modèle GPT-NeoXT-Chat-Base-20B est plus performant que le modèle de base GPT-NoeX dans les tâches de questions et réponses, d'extraction et de classification.

Ressources :

• Article de blog : "Annonce d'OpenChatKit" - ENSEMBLE [https://www.together.xyz/blog/openchatkit]
• GitHub : ensemblecomputer/OpenChatKit [https://github.com/togethercomputer/OpenChatKit ]
• Démo : OpenChatKit [https://huggingface.co/spaces/togethercomputer/OpenChatKit]
• Carte modèle : Togethercomputer/GPT-NeoXT-Chat-Base-20B [https://huggingface.co/togethercomputer/GPT- NeoXT-Chat-Base-20B]

5.GPT4ALL

GPT4ALL est un projet piloté par la communauté et formé sur un corpus d'interactions auxiliaires à grande échelle, comprenant du code, des histoires, des descriptions et des dialogues à plusieurs tours. L'équipe a fourni l'ensemble de données, les pondérations du modèle, le processus de gestion des données et le code de formation pour faciliter l'open source. De plus, ils ont publié une version quantifiée 4 bits du modèle qui peut être exécutée sur un ordinateur portable. Vous pouvez même utiliser un client Python pour exécuter l'inférence de modèle.

Photos de GPT4ALL

Source :

• Rapport technique : GPT4All [https://s3.amazonaws.com/static.nomic.ai/gpt4all/2023_GPT4All_Technical_Report.pdf]
• GitHub : nomic-ai/gpt4al [https://github.com/nomic-ai /gpt4all]
• Démo : GPT4All (non officiel). [https://huggingface.co/spaces/rishiraj/GPT4All]
• Carte modèle : nomic-ai/gpt4all-lora · Hugging Face [https://huggingface.co/nomic-ai/gpt4all-lora]

6.Raven RWKV

Raven RWKV 7B est un chatbot open source piloté par le modèle de langage RWKV et génère des résultats similaires à ChatGPT. Ce modèle utilise RNN, qui peut égaler le transformateur en termes de qualité et d'évolutivité, tout en étant plus rapide et en économisant de la VRAM. Raven est affiné sur Stanford Alpaca, code-alpaca et d'autres ensembles de données.

Image de Raven RWKV 7B

Source :

• GitHub : BlinkDL/ChatRWKV [https://github.com/BlinkDL/ChatRWKV]
• Démo : Raven RWKV 7B [https://huggingface.co /spaces/BlinkDL/Raven-RWKV-7B]
• Carte modèle : BlinkDL/rwkv-4-raven [https://huggingface.co/BlinkDL/rwkv-4-raven]

7.OPT

OPT : Le modèle de langage Open Pre-trained Transformer n'est pas aussi puissant que ChatGPT, mais il montre d'excellentes capacités en matière d'apprentissage zéro et peu de tirs et d'analyse des biais stéréotypés. Il peut également être intégré à Alpa, Colossal-AI, CTranslate2 et FasterTransformer pour de meilleurs résultats. REMARQUE : La raison pour laquelle il figure sur la liste est sa popularité, car il compte 624 710 téléchargements par mois dans la catégorie génération de texte.

Image de (arxiv.org)

Ressource :

• Document de recherche : "OPT : modèles de langage de transformateur pré-entraînés ouverts (arxiv.org)" [https://arxiv.org/abs/2205.01068 ]
• GitHub : facebookresearch/metaseq [https://github.com/facebookresearch/metaseq]
• Démo : un filigrane pour les LLM [https://huggingface.co/spaces/tomg-group-umd/lm-watermarking]
• Carte modèle : facebook/opt-1.3b [https://huggingface.co/facebook/opt-1.3b]

8.Flan-T5-XXL

Flan-T5-XXL Le T5 Le modèle est affiné sur l’ensemble de données exprimé sous forme d’instructions. Le réglage fin des instructions améliore considérablement les performances de diverses classes de modèles, telles que PaLM, T5 et U-PaLM. Le modèle Flan-T5-XXL est affiné sur plus de 1000 tâches supplémentaires, couvrant davantage de langues.

Image de Flan-T5-XXL

Source :

• Document de recherche : "Mise à l'échelle des modèles de langage à réglage fin" [https://arxiv.org/pdf/2210.11416.pdf]
• GitHub : google-research/t5x [https://github.com/google-research/t5x]
• Démo : Chat Llm Streaming [https://huggingface.co/spaces/olivierdehaene/chat-llm-streaming]
• Carte modèle ：google/flan-t5-xxl [https://huggingface.co/google/flan-t5-xxl?text=Q%3A+%28+False+or+not+False+or+False+%29+is%3F +A%3A+Let%27s+think+step+by+step]

Résumé

Il existe de nombreux grands modèles open source parmi lesquels choisir.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!