Le modèle open source remporte GPT-4 pour la première fois ! Le dernier rapport de bataille d'Arena a déclenché un débat houleux, Karpathy : c'est la seule liste en laquelle je fais confiance

Un modèle open source capable de battre GPT-4 est apparu !

Le dernier rapport de bataille de la Large Model Arena :

Le modèle open source Command R+ de 104 milliards de paramètres a grimpé à la 6ème place, à égalité avec GPT-4-0314 et dépassant GPT-4-0613.

Photos

C'est également le premier modèle de poids ouvert à battre le GPT-4 dans l'arène des grands modèles.

L'arène des grands modèles est l'un des seuls tests de référence auxquels le maître Karpathy fait confiance.

Photos

Commandez R+ de la licorne AI Cohere. Le co-fondateur et PDG de cette startup de grande envergure n'est autre qu'Aidan Gomez, le plus jeune auteur de Transformer (surnommé le faucheur de blé).

Photos

Dès que ce rapport de bataille est sorti, il a déclenché une nouvelle vague de discussions animées dans la grande communauté des mannequins.

La raison pour laquelle tout le monde est enthousiasmé est simple : le grand modèle de base est déployé depuis une année entière, de manière inattendue, le paysage continuera de se développer et de changer en 2024.

Le co-fondateur de HuggingFace, Thomas Wolf, a déclaré :

La situation dans l'arène des grands modèles a radicalement changé récemment :

L'opus Claude 3 d'Anthropic domine le modèle fermé.

Command R+ de Cohere est devenu le plus puissant parmi les modèles open source.

Je ne m'attendais pas à ce qu'en 2024, l'équipe d'intelligence artificielle se développe aussi rapidement sur les voies open source et fermée.

Photos

De plus, Nils Reimers, directeur de Cohere Machine Learning, a également souligné quelque chose qui mérite l'attention :

La plus grande fonctionnalité de Command R+ est l'optimisation complète du RAG (Retrieval Augmentation Generation) intégré, et dans la compétition de grands modèles Sur le terrain, les fonctionnalités de plug-in telles que RAG n'ont pas été incluses dans le test.

Photos

Le modèle d'optimisation RAG monte sur le trône de l'open source

Dans le positionnement officiel de Cohere, Command R+ est un « modèle d'optimisation RAG ».

C'est-à-dire que ce grand modèle avec 104 milliards de paramètres a été profondément optimisé pour la technologie de génération d'amélioration de récupération afin de réduire la génération d'hallucinations et est plus adapté aux charges de travail au niveau de l'entreprise.

Comme le Command R lancé précédemment, la longueur de la fenêtre contextuelle du Command R+ est de 128 Ko.

De plus, Command R+ possède également les fonctionnalités suivantes :

• couvre plus de 10 langues, dont l'anglais, le chinois, le français, l'allemand, etc.
• peut utiliser des outils pour compléter l'automatisation de processus métier complexes

De les résultats du test, Dans les trois dimensions du multilinguisme, du RAG et de l'utilisation des outils, Command R+ a atteint le niveau du turbo GPT-4.

Mais en termes de coût d'entrée, le prix du Command R+ n'est que de 1/3 du turbo du GPT-4.

En termes de coût de production, Command R+ représente la moitié du turbo GPT-4.

Photos

C'est ce qui a attiré l'attention de nombreux internautes :

Photos

Cependant, malgré ses performances accrocheuses dans les évaluations subjectives humaines telles que l'arène des grands modèles, certains internautes continuent a émis des points de vue différents.

Sur HumanEval, les capacités de codage de Command R+ n'ont même pas battu GPT-3.5, se classant respectivement 32e et 33e dans les deux séries de tests.

La dernière version du GPT-4 turbo a remporté la première place sans aucun suspense.

Photos

De plus, nous avons également brièvement testé la capacité chinoise du Command R+ sur le critère de référence pour les retards mentaux, qui a récemment été répertorié dans des articles sérieux.

Photos

Comment la noteriez-vous ?

Il est à noter que l'open source de Command R+ est uniquement destiné à la recherche académique et n'est pas gratuit pour un usage commercial.

One More Thing

Enfin, parlons davantage du gars qui coupe le blé.

Aidan Gomez, le plus jeune des Chevaliers Transformateurs de la Table Ronde, n'était qu'un étudiant de premier cycle lorsqu'il a rejoint l'équipe de recherche -

Cependant, il a rejoint le laboratoire Hinton alors qu'il était junior à l'Université de Toronto.

En 2018, Kao Maozi a été admis à l'Université d'Oxford et a commencé à étudier pour un doctorat en informatique comme ses partenaires de thèse.

Mais en 2019, avec la création de Cohere, il choisit finalement d'abandonner ses études et de rejoindre la vague de l'entrepreneuriat en IA.

Cohere fournit principalement des solutions de grands modèles aux entreprises, et sa valorisation actuelle a atteint 2,2 milliards de dollars américains.

Lien de référence :
[1]https://www.php.cn/link/3be14122a3c78d9070cae09a16adcbb1[2]https://www.php.cn/link/93fc5aed8c051ce4538e052cfe9f8692

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!