


Il y a quelque temps, des chercheurs de LMSYS Org (dirigés par l'UC Berkeley) ont fait une grande nouvelle : le concours de qualification pour la version du grand modèle de langage !
Cette fois, l'équipe a non seulement amené 4 nouveaux joueurs, mais aussi un classement (quasi) chinois.
- OpenAI GPT-4
- OpenAI GPT-3.5-turbo
- Anthropic Claude-v1
- RWKV-4-Raven-14B (open source)
Il ne fait aucun doute que tant que GPT-4 rejoint la bataille, ce sera Steady en première place.
Cependant, de manière inattendue, Claude a non seulement dépassé GPT-3.5, qui a amené OpenAI à l'autel, pour se classer deuxième, mais n'avait que 50 points de retard sur GPT-4.
En comparaison, le troisième GPT-3.5 n'est que 72 points de plus que Vicuna, le modèle open source le plus puissant avec 13 milliards de paramètres.
Et le "modèle RNN pur" de 14 milliards de paramètres RWKV-4-Raven-14B s'appuie sur ses excellentes performances pour surpasser tous les modèles Transformer et se classer 6ème - à l'exception du modèle Vicuna, RWKV est en concurrence avec tous les autres modèles open source les modèles ont remporté plus de 50 % des matchs sans égalité.
De plus, l'équipe a également créé deux classements distincts : « Anglais uniquement » et « Non-anglais » (dont la plupart sont en chinois).
Vous pouvez constater que les classements de nombreux modèles ont considérablement changé.
Par exemple, ChatGLM-6B entraîné avec davantage de données chinoises a obtenu de meilleurs résultats, et GPT-3.5 a également réussi à dépasser Claude et à se classer deuxième.
Les principaux contributeurs à cette mise à jour sont Sheng Ying, Lianmin Zheng, Hao Zhang, Joseph E. Gonzalez et Ion Stoica.
Sheng Ying est l'un des trois fondateurs de LMSYS Org (les deux autres sont Lianmin Zheng et Hao Zhang) et doctorant au Département d'informatique de l'Université de Stanford.
Elle est également une œuvre du système FlexGen populaire qui peut exécuter une inférence de modèle 175B sur un seul GPU. Il a actuellement reçu 8 000 étoiles.
Adresse papier : https://arxiv.org/abs/2303.06865
Adresse du projet : https://github.com/FMInference/FlexGen
Page d'accueil personnelle :https://sites.google.com/view/yingsheng/home
"Open Source" VS "Closed Source"
Avec l'aide de la communauté, l'équipe a collecté un total de 13 000 votes anonymes, et une découverte intéressante.
L'écart entre le propriétaire et l'open source
Parmi les trois modèles propriétaires, le modèle Claude d'Anthropic est plus populaire parmi les utilisateurs que le GPT-3.5-turbo.
De plus, Claude s'est également montré très compétitif face au GPT-4 le plus puissant.
À en juger par le tableau des taux de victoire ci-dessous, sur les 66 matchs sans égalité entre GPT-4 et Claude, Claude en a remporté 32 (48 %).
Dans toutes les batailles A contre B sans égalité, la proportion de modèle A gagnant
Cependant, il existe encore un grand écart entre les autres modèles open source et ces trois modèles propriétaires.
En particulier, GPT-4 est en tête du classement avec un score Elo de 1274. C'est près de 200 points de plus que la meilleure alternative open source de la liste, Vicuna-13B.
Après avoir éliminé les égalités, GPT-4 a remporté 82% des matchs contre Vicuna-13B et même contre la génération précédente GPT-3.5-turbo a remporté 79% des matchs.
Cependant, il convient de noter que ces modèles open source figurant dans le classement ont généralement moins de paramètres que les modèles propriétaires, compris entre 3 et 14 milliards.
En fait, les progrès récents en matière de LLM et de curation de données ont permis d'obtenir des améliorations significatives des performances en utilisant des modèles plus petits.
Le dernier PaLM 2 de Google en est un bon exemple : nous savons que PaLM 2 atteint de meilleures performances que son prédécesseur en utilisant des modèles de plus petite taille.
Par conséquent, l'équipe est optimiste quant au fait que les modèles de langage open source rattraperont leur retard.
Quand le GPT-4 va-t-il « se renverser » ?
Dans l'image ci-dessous, un utilisateur a posé une question délicate qui nécessite un raisonnement et une planification minutieux. Alors que Claude et GPT-4 ont fourni des réponses similaires, la réponse de Claude était légèrement meilleure.
Cependant, en raison de la nature aléatoire de l'échantillonnage, l'équipe a constaté que cette situation ne pouvait pas toujours être reproduite. Parfois, GPT-4 peut aussi donner la même séquence que Claude, mais il a échoué dans cet essai de génération.
De plus, l'équipe a remarqué que GPT-4 se comporte légèrement différemment lors de l'utilisation de l'API OpenAI et de l'interface ChatGPT, ce qui peut être dû à des invites, des paramètres d'échantillonnage ou d'autres inconnues différents. facteurs.
Un exemple d'utilisateur préférant Claude à GPT-4#🎜 🎜 #
Dans l'image ci-dessous, bien que Claude et GPT-4 aient des capacités étonnantes, ils ont toujours du mal à gérer ce type de problème d'inférence complexe.
Un exemple d'utilisateur pensant que Claude et GPT-4 ont tort # 🎜🎜#
En dehors de ces situations délicates, il existe de nombreuses questions simples qui ne nécessitent pas de raisonnement ou de connaissances complexes.Dans ce cas, les modèles open source comme Vicuna peuvent fonctionner de manière comparable à GPT-4, nous pourrons donc peut-être utiliser un modèle légèrement plus faible (mais plus petit ou plus bon marché) Large Language Model (LLM) comme alternative aux modèles plus puissants comme GPT-4.
Changements dans le score Elo
Chatbot Compétitif depuis la participation de trois puissants modèles propriétaires La concurrence n'a jamais été si féroce.
Depuis que les modèles open source perdent beaucoup de parties lorsqu'ils jouent contre des modèles propriétaires, leurs scores Elo ont tous baissé.
Enfin, l'équipe prévoit également d'ouvrir certaines API afin que les utilisateurs puissent enregistrer leurs propres chatbots pour participer à des matchs classés.
Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Hé là, codant ninja! Quelles tâches liées au codage avez-vous prévues pour la journée? Avant de plonger plus loin dans ce blog, je veux que vous réfléchissiez à tous vos malheurs liés au codage - les énumérez. Fait? - Let & # 8217

AI augmentant la préparation des aliments Bien qu'ils soient encore dans une utilisation naissante, les systèmes d'IA sont de plus en plus utilisés dans la préparation des aliments. Les robots dirigés AI sont utilisés dans les cuisines pour automatiser

Introduction Comprendre les espaces de noms, les lunettes et le comportement des variables dans les fonctions Python est crucial pour écrire efficacement et éviter les erreurs ou exceptions d'exécution. Dans cet article, nous plongerons dans divers ASP

Introduction Imaginez vous promener dans une galerie d'art, entourée de peintures et de sculptures vives. Maintenant, que se passe-t-il si vous pouviez poser une question à chaque pièce et obtenir une réponse significative? Vous pourriez demander: «Quelle histoire racontez-vous?

Poursuivant la cadence du produit, MediaTek ce mois-ci a fait une série d'annonces, notamment le nouveau Kompanio Ultra et Dimensity 9400. Ces produits remplissent les parties les plus traditionnelles des activités de MediaTek, qui comprennent des puces pour smartphone

# 1 Google a lancé agent2agent L'histoire: c'est lundi matin. En tant que recruteur propulsé par l'IA, vous travaillez plus intelligemment, pas plus difficile. Vous vous connectez au tableau de bord de votre entreprise sur votre téléphone. Il vous indique que trois rôles critiques ont été achetés, vérifiés et programmés pour

Je suppose que vous devez l'être. Nous semblons tous savoir que Psychobabble se compose d'un bavardage assorti qui mélange diverses terminologies psychologiques et finit souvent par être incompréhensibles ou complètement absurdes. Tout ce que vous avez à faire pour cracher

Selon une nouvelle étude publiée cette semaine. Pendant ce temps, le plastique continue de s'accumuler dans les décharges et les écosystèmes - dans le monde. Mais l'aide est en route. Une équipe d'angle


Outils d'IA chauds

Undresser.AI Undress
Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover
Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool
Images de déshabillage gratuites

Clothoff.io
Dissolvant de vêtements AI

AI Hentai Generator
Générez AI Hentai gratuitement.

Article chaud

Outils chauds

mPDF
mPDF est une bibliothèque PHP qui peut générer des fichiers PDF à partir de HTML encodé en UTF-8. L'auteur original, Ian Back, a écrit mPDF pour générer des fichiers PDF « à la volée » depuis son site Web et gérer différentes langues. Il est plus lent et produit des fichiers plus volumineux lors de l'utilisation de polices Unicode que les scripts originaux comme HTML2FPDF, mais prend en charge les styles CSS, etc. et présente de nombreuses améliorations. Prend en charge presque toutes les langues, y compris RTL (arabe et hébreu) et CJK (chinois, japonais et coréen). Prend en charge les éléments imbriqués au niveau du bloc (tels que P, DIV),

Listes Sec
SecLists est le compagnon ultime du testeur de sécurité. Il s'agit d'une collection de différents types de listes fréquemment utilisées lors des évaluations de sécurité, le tout en un seul endroit. SecLists contribue à rendre les tests de sécurité plus efficaces et productifs en fournissant facilement toutes les listes dont un testeur de sécurité pourrait avoir besoin. Les types de listes incluent les noms d'utilisateur, les mots de passe, les URL, les charges utiles floues, les modèles de données sensibles, les shells Web, etc. Le testeur peut simplement extraire ce référentiel sur une nouvelle machine de test et il aura accès à tous les types de listes dont il a besoin.

Version crackée d'EditPlus en chinois
Petite taille, coloration syntaxique, ne prend pas en charge la fonction d'invite de code

SublimeText3 Linux nouvelle version
Dernière version de SublimeText3 Linux

Dreamweaver Mac
Outils de développement Web visuel