recherche
MaisonPériphériques technologiquesIALes classements quasi-chinois de l'UC Berkeley LLM sont ici ! GPT-4 se classe premier et le modèle RNN open source chinois entre dans le top six

Il y a quelque temps, des chercheurs de LMSYS Org (dirigés par l'UC Berkeley) ont fait une grande nouvelle : le concours de qualification pour la version du grand modèle de langage !

Cette fois, l'équipe a non seulement amené 4 nouveaux joueurs, mais aussi un classement (quasi) chinois.

  • OpenAI GPT-4
  • OpenAI GPT-3.5-turbo
  • Anthropic Claude-v1
  • RWKV-4-Raven-14B (open source)

Il ne fait aucun doute que tant que GPT-4 rejoint la bataille, ce sera Steady en première place.

Cependant, de manière inattendue, Claude a non seulement dépassé GPT-3.5, qui a amené OpenAI à l'autel, pour se classer deuxième, mais n'avait que 50 points de retard sur GPT-4.

En comparaison, le troisième GPT-3.5 n'est que 72 points de plus que Vicuna, le modèle open source le plus puissant avec 13 milliards de paramètres.

Et le "modèle RNN pur" de 14 milliards de paramètres RWKV-4-Raven-14B s'appuie sur ses excellentes performances pour surpasser tous les modèles Transformer et se classer 6ème - à l'exception du modèle Vicuna, RWKV est en concurrence avec tous les autres modèles open source les modèles ont remporté plus de 50 % des matchs sans égalité.

Les classements quasi-chinois de lUC Berkeley LLM sont ici ! GPT-4 se classe premier et le modèle RNN open source chinois entre dans le top six

De plus, l'équipe a également créé deux classements distincts : « Anglais uniquement » et « Non-anglais » (dont la plupart sont en chinois).

Vous pouvez constater que les classements de nombreux modèles ont considérablement changé.

Par exemple, ChatGLM-6B entraîné avec davantage de données chinoises a obtenu de meilleurs résultats, et GPT-3.5 a également réussi à dépasser Claude et à se classer deuxième.

Les classements quasi-chinois de lUC Berkeley LLM sont ici ! GPT-4 se classe premier et le modèle RNN open source chinois entre dans le top six

Les principaux contributeurs à cette mise à jour sont Sheng Ying, Lianmin Zheng, Hao Zhang, Joseph E. Gonzalez et Ion Stoica.

Sheng Ying est l'un des trois fondateurs de LMSYS Org (les deux autres sont Lianmin Zheng et Hao Zhang) et doctorant au Département d'informatique de l'Université de Stanford.

Elle est également une œuvre du système FlexGen populaire qui peut exécuter une inférence de modèle 175B sur un seul GPU. Il a actuellement reçu 8 000 étoiles.

Les classements quasi-chinois de lUC Berkeley LLM sont ici ! GPT-4 se classe premier et le modèle RNN open source chinois entre dans le top six

Adresse papier : https://arxiv.org/abs/2303.06865

Adresse du projet : https://github.com/FMInference/FlexGen

Page d'accueil personnelle :https://sites.google.com/view/yingsheng/home

"Open Source" VS "Closed Source"

Avec l'aide de la communauté, l'équipe a collecté un total de 13 000 votes anonymes, et une découverte intéressante.

L'écart entre le propriétaire et l'open source

Parmi les trois modèles propriétaires, le modèle Claude d'Anthropic est plus populaire parmi les utilisateurs que le GPT-3.5-turbo.

De plus, Claude s'est également montré très compétitif face au GPT-4 le plus puissant.

À en juger par le tableau des taux de victoire ci-dessous, sur les 66 matchs sans égalité entre GPT-4 et Claude, Claude en a remporté 32 (48 %).

Les classements quasi-chinois de lUC Berkeley LLM sont ici ! GPT-4 se classe premier et le modèle RNN open source chinois entre dans le top six

Dans toutes les batailles A contre B sans égalité, la proportion de modèle A gagnant

Cependant, il existe encore un grand écart entre les autres modèles open source et ces trois modèles propriétaires.

En particulier, GPT-4 est en tête du classement avec un score Elo de 1274. C'est près de 200 points de plus que la meilleure alternative open source de la liste, Vicuna-13B.

Après avoir éliminé les égalités, GPT-4 a remporté 82% des matchs contre Vicuna-13B et même contre la génération précédente GPT-3.5-turbo a remporté 79% des matchs.

Cependant, il convient de noter que ces modèles open source figurant dans le classement ont généralement moins de paramètres que les modèles propriétaires, compris entre 3 et 14 milliards.

En fait, les progrès récents en matière de LLM et de curation de données ont permis d'obtenir des améliorations significatives des performances en utilisant des modèles plus petits.

Le dernier PaLM 2 de Google en est un bon exemple : nous savons que PaLM 2 atteint de meilleures performances que son prédécesseur en utilisant des modèles de plus petite taille.

Par conséquent, l'équipe est optimiste quant au fait que les modèles de langage open source rattraperont leur retard.

Quand le GPT-4 va-t-il « se renverser » ?

Dans l'image ci-dessous, un utilisateur a posé une question délicate qui nécessite un raisonnement et une planification minutieux. Alors que Claude et GPT-4 ont fourni des réponses similaires, la réponse de Claude était légèrement meilleure.

Cependant, en raison de la nature aléatoire de l'échantillonnage, l'équipe a constaté que cette situation ne pouvait pas toujours être reproduite. Parfois, GPT-4 peut aussi donner la même séquence que Claude, mais il a échoué dans cet essai de génération.

De plus, l'équipe a remarqué que GPT-4 se comporte légèrement différemment lors de l'utilisation de l'API OpenAI et de l'interface ChatGPT, ce qui peut être dû à des invites, des paramètres d'échantillonnage ou d'autres inconnues différents. facteurs.

Les classements quasi-chinois de lUC Berkeley LLM sont ici ! GPT-4 se classe premier et le modèle RNN open source chinois entre dans le top six

Un exemple d'utilisateur préférant Claude à GPT-4#🎜 🎜 #

Dans l'image ci-dessous, bien que Claude et GPT-4 aient des capacités étonnantes, ils ont toujours du mal à gérer ce type de problème d'inférence complexe.

Les classements quasi-chinois de lUC Berkeley LLM sont ici ! GPT-4 se classe premier et le modèle RNN open source chinois entre dans le top six

Un exemple d'utilisateur pensant que Claude et GPT-4 ont tort # 🎜🎜#

En dehors de ces situations délicates, il existe de nombreuses questions simples qui ne nécessitent pas de raisonnement ou de connaissances complexes.

Dans ce cas, les modèles open source comme Vicuna peuvent fonctionner de manière comparable à GPT-4, nous pourrons donc peut-être utiliser un modèle légèrement plus faible (mais plus petit ou plus bon marché) Large Language Model (LLM) comme alternative aux modèles plus puissants comme GPT-4.

Changements dans le score Elo

Chatbot Compétitif depuis la participation de trois puissants modèles propriétaires La concurrence n'a jamais été si féroce.

Depuis que les modèles open source perdent beaucoup de parties lorsqu'ils jouent contre des modèles propriétaires, leurs scores Elo ont tous baissé.

Enfin, l'équipe prévoit également d'ouvrir certaines API afin que les utilisateurs puissent enregistrer leurs propres chatbots pour participer à des matchs classés.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Déclaration
Cet article est reproduit dans:. en cas de violation, veuillez contacter admin@php.cn Supprimer
Qu'est-ce que le graphique de la pensée dans l'ingénierie rapideQu'est-ce que le graphique de la pensée dans l'ingénierie rapideApr 13, 2025 am 11:53 AM

Introduction Dans l'ingénierie rapide, «Graph of Thought» fait référence à une nouvelle approche qui utilise la théorie des graphiques pour structurer et guider le processus de raisonnement de l'IA. Contrairement aux méthodes traditionnelles, qui impliquent souvent des s linéaires

Optimiser le marketing par e-mail de votre organisation avec les agents de GenaiOptimiser le marketing par e-mail de votre organisation avec les agents de GenaiApr 13, 2025 am 11:44 AM

Introduction Félicitations! Vous gérez une entreprise prospère. Grâce à vos pages Web, campagnes de médias sociaux, webinaires, conférences, ressources gratuites et autres sources, vous collectez 5000 identifiants de messagerie par jour. La prochaine étape évidente est

Surveillance des performances de l'application en temps réel avec Apache PinotSurveillance des performances de l'application en temps réel avec Apache PinotApr 13, 2025 am 11:40 AM

Introduction Dans l'environnement de développement logiciel au rythme rapide d'aujourd'hui, garantissant des performances optimales d'application est cruciale. La surveillance des mesures en temps réel telles que les temps de réponse, les taux d'erreur et l'utilisation des ressources peuvent aider

Chatgpt frappe 1 milliard d'utilisateurs? 'Doublé en seulement des semaines', explique le PDG d'OpenaiChatgpt frappe 1 milliard d'utilisateurs? 'Doublé en seulement des semaines', explique le PDG d'OpenaiApr 13, 2025 am 11:23 AM

«Combien d'utilisateurs avez-vous?» il a poussé. "Je pense que la dernière fois que nous avons dit était de 500 millions d'actifs hebdomadaires, et cela croît très rapidement", a répondu Altman. "Vous m'avez dit que cela a doublé en quelques semaines", a poursuivi Anderson. «J'ai dit que le priv

PIXTRAL-12B: Mistral AI & # 039; s Modèle multimodal - Analytics VidhyaPIXTRAL-12B: Mistral AI & # 039; s Modèle multimodal - Analytics VidhyaApr 13, 2025 am 11:20 AM

Introduction Mistral a publié son tout premier modèle multimodal, à savoir le pixtral-12b-2409. Ce modèle est construit sur les 12 milliards de paramètres de Mistral, Nemo 12b. Qu'est-ce qui distingue ce modèle? Il peut maintenant prendre les deux images et Tex

Cadres agentiques pour les applications d'IA génératrices - Analytics VidhyaCadres agentiques pour les applications d'IA génératrices - Analytics VidhyaApr 13, 2025 am 11:13 AM

Imaginez avoir un assistant alimenté par AI qui non seulement répond à vos requêtes mais rassemble également de manière autonome des informations, exécute des tâches et gère même plusieurs types de données - texte, images et code. Cela semble futuriste? En ce

Applications de l'IA générative dans le secteur financierApplications de l'IA générative dans le secteur financierApr 13, 2025 am 11:12 AM

Introduction L’industrie financière est la pierre angulaire du développement de tout pays, car elle stimule la croissance économique en facilitant des transactions efficaces et une disponibilité du crédit. La facilité avec laquelle les transactions se produisent et le crédit

Guide de l'apprentissage en ligne et des algorithmes agressifs passifsGuide de l'apprentissage en ligne et des algorithmes agressifs passifsApr 13, 2025 am 11:09 AM

Introduction Les données sont générées à un rythme sans précédent à partir de sources telles que les médias sociaux, les transactions financières et les plateformes de commerce électronique. Gérer ce flux continu d'informations est un défi, mais il offre un

See all articles

Outils d'IA chauds

Undresser.AI Undress

Undresser.AI Undress

Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover

AI Clothes Remover

Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool

Undress AI Tool

Images de déshabillage gratuites

Clothoff.io

Clothoff.io

Dissolvant de vêtements AI

AI Hentai Generator

AI Hentai Generator

Générez AI Hentai gratuitement.

Article chaud

R.E.P.O. Crystals d'énergie expliqués et ce qu'ils font (cristal jaune)
3 Il y a quelques semainesBy尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Meilleurs paramètres graphiques
3 Il y a quelques semainesBy尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Comment réparer l'audio si vous n'entendez personne
3 Il y a quelques semainesBy尊渡假赌尊渡假赌尊渡假赌
WWE 2K25: Comment déverrouiller tout dans Myrise
4 Il y a quelques semainesBy尊渡假赌尊渡假赌尊渡假赌

Outils chauds

Version Mac de WebStorm

Version Mac de WebStorm

Outils de développement JavaScript utiles

Envoyer Studio 13.0.1

Envoyer Studio 13.0.1

Puissant environnement de développement intégré PHP

DVWA

DVWA

Damn Vulnerable Web App (DVWA) est une application Web PHP/MySQL très vulnérable. Ses principaux objectifs sont d'aider les professionnels de la sécurité à tester leurs compétences et leurs outils dans un environnement juridique, d'aider les développeurs Web à mieux comprendre le processus de sécurisation des applications Web et d'aider les enseignants/étudiants à enseigner/apprendre dans un environnement de classe. Application Web sécurité. L'objectif de DVWA est de mettre en pratique certaines des vulnérabilités Web les plus courantes via une interface simple et directe, avec différents degrés de difficulté. Veuillez noter que ce logiciel

Télécharger la version Mac de l'éditeur Atom

Télécharger la version Mac de l'éditeur Atom

L'éditeur open source le plus populaire

Dreamweaver CS6

Dreamweaver CS6

Outils de développement Web visuel