Les classements quasi-chinois de l'UC Berkeley LLM sont ici ! GPT-4 se classe premier et le modèle RNN open source chinois entre dans le top six

Il y a quelque temps, des chercheurs de LMSYS Org (dirigés par l'UC Berkeley) ont fait une grande nouvelle : le concours de qualification pour la version du grand modèle de langage !

Cette fois, l'équipe a non seulement amené 4 nouveaux joueurs, mais aussi un classement (quasi) chinois.

• OpenAI GPT-4
• OpenAI GPT-3.5-turbo
• Anthropic Claude-v1
• RWKV-4-Raven-14B (open source)

Il ne fait aucun doute que tant que GPT-4 rejoint la bataille, ce sera Steady en première place.

Cependant, de manière inattendue, Claude a non seulement dépassé GPT-3.5, qui a amené OpenAI à l'autel, pour se classer deuxième, mais n'avait que 50 points de retard sur GPT-4.

En comparaison, le troisième GPT-3.5 n'est que 72 points de plus que Vicuna, le modèle open source le plus puissant avec 13 milliards de paramètres.

Et le "modèle RNN pur" de 14 milliards de paramètres RWKV-4-Raven-14B s'appuie sur ses excellentes performances pour surpasser tous les modèles Transformer et se classer 6ème - à l'exception du modèle Vicuna, RWKV est en concurrence avec tous les autres modèles open source les modèles ont remporté plus de 50 % des matchs sans égalité.

De plus, l'équipe a également créé deux classements distincts : « Anglais uniquement » et « Non-anglais » (dont la plupart sont en chinois).

Vous pouvez constater que les classements de nombreux modèles ont considérablement changé.

Par exemple, ChatGLM-6B entraîné avec davantage de données chinoises a obtenu de meilleurs résultats, et GPT-3.5 a également réussi à dépasser Claude et à se classer deuxième.

Les principaux contributeurs à cette mise à jour sont Sheng Ying, Lianmin Zheng, Hao Zhang, Joseph E. Gonzalez et Ion Stoica.

Sheng Ying est l'un des trois fondateurs de LMSYS Org (les deux autres sont Lianmin Zheng et Hao Zhang) et doctorant au Département d'informatique de l'Université de Stanford.

Elle est également une œuvre du système FlexGen populaire qui peut exécuter une inférence de modèle 175B sur un seul GPU. Il a actuellement reçu 8 000 étoiles.

Adresse papier : https://arxiv.org/abs/2303.06865

Adresse du projet : https://github.com/FMInference/FlexGen

Page d'accueil personnelle ：https://sites.google.com/view/yingsheng/home

"Open Source" VS "Closed Source"

Avec l'aide de la communauté, l'équipe a collecté un total de 13 000 votes anonymes, et une découverte intéressante.

L'écart entre le propriétaire et l'open source

Parmi les trois modèles propriétaires, le modèle Claude d'Anthropic est plus populaire parmi les utilisateurs que le GPT-3.5-turbo.

De plus, Claude s'est également montré très compétitif face au GPT-4 le plus puissant.

À en juger par le tableau des taux de victoire ci-dessous, sur les 66 matchs sans égalité entre GPT-4 et Claude, Claude en a remporté 32 (48 %).

Dans toutes les batailles A contre B sans égalité, la proportion de modèle A gagnant

Cependant, il existe encore un grand écart entre les autres modèles open source et ces trois modèles propriétaires.

En particulier, GPT-4 est en tête du classement avec un score Elo de 1274. C'est près de 200 points de plus que la meilleure alternative open source de la liste, Vicuna-13B.

Après avoir éliminé les égalités, GPT-4 a remporté 82% des matchs contre Vicuna-13B et même contre la génération précédente GPT-3.5-turbo a remporté 79% des matchs.

Cependant, il convient de noter que ces modèles open source figurant dans le classement ont généralement moins de paramètres que les modèles propriétaires, compris entre 3 et 14 milliards.

En fait, les progrès récents en matière de LLM et de curation de données ont permis d'obtenir des améliorations significatives des performances en utilisant des modèles plus petits.

Le dernier PaLM 2 de Google en est un bon exemple : nous savons que PaLM 2 atteint de meilleures performances que son prédécesseur en utilisant des modèles de plus petite taille.

Par conséquent, l'équipe est optimiste quant au fait que les modèles de langage open source rattraperont leur retard.

Quand le GPT-4 va-t-il « se renverser » ?

Dans l'image ci-dessous, un utilisateur a posé une question délicate qui nécessite un raisonnement et une planification minutieux. Alors que Claude et GPT-4 ont fourni des réponses similaires, la réponse de Claude était légèrement meilleure.

Cependant, en raison de la nature aléatoire de l'échantillonnage, l'équipe a constaté que cette situation ne pouvait pas toujours être reproduite. Parfois, GPT-4 peut aussi donner la même séquence que Claude, mais il a échoué dans cet essai de génération.

De plus, l'équipe a remarqué que GPT-4 se comporte légèrement différemment lors de l'utilisation de l'API OpenAI et de l'interface ChatGPT, ce qui peut être dû à des invites, des paramètres d'échantillonnage ou d'autres inconnues différents. facteurs.

Un exemple d'utilisateur préférant Claude à GPT-4#🎜 🎜 #

Dans l'image ci-dessous, bien que Claude et GPT-4 aient des capacités étonnantes, ils ont toujours du mal à gérer ce type de problème d'inférence complexe.

Un exemple d'utilisateur pensant que Claude et GPT-4 ont tort # 🎜🎜#

En dehors de ces situations délicates, il existe de nombreuses questions simples qui ne nécessitent pas de raisonnement ou de connaissances complexes.

Dans ce cas, les modèles open source comme Vicuna peuvent fonctionner de manière comparable à GPT-4, nous pourrons donc peut-être utiliser un modèle légèrement plus faible (mais plus petit ou plus bon marché) Large Language Model (LLM) comme alternative aux modèles plus puissants comme GPT-4.

Changements dans le score Elo

Chatbot Compétitif depuis la participation de trois puissants modèles propriétaires La concurrence n'a jamais été si féroce.

Depuis que les modèles open source perdent beaucoup de parties lorsqu'ils jouent contre des modèles propriétaires, leurs scores Elo ont tous baissé.

Enfin, l'équipe prévoit également d'ouvrir certaines API afin que les utilisateurs puissent enregistrer leurs propres chatbots pour participer à des matchs classés.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!