Zhiyuan met à jour le classement des grands modèles : le grand modèle Doubao se classe premier en Chine dans « l'évaluation objective »

La plateforme d'évaluation FlagEval a publié la dernière liste. Dans « l'évaluation objective » publiée à la mi-juin, GPT-4 s'est classé premier parmi les grands modèles à source fermée, et Doubao-Pro (grand modèle de pouf) s'est classé deuxième et a également obtenu le score The. grand modèle national le plus élevé suivi par ERNIE 4.0, Baichuan3, Moonshot-v1, etc. Dans l'évaluation à réponse ouverte, Doubao-Pro s'est également classé deuxième, avec un score supérieur à GPT-4o et GPT-4. De nouvelles technologies continuent d’émerger, et seules les plateformes capables de continuer à s’y intéresser et à s’y adapter peuvent rester invincibles sur ce marché hautement concurrentiel. Nombre de mots : 114

Photo : Le modèle de pouf a remporté la deuxième note globale lors de l'évaluation objective FlagEval (2024année6mois)

FlagEval grand modèle plateforme d'évaluation Il est construit conjointement par l'Institut de recherche Zhiyuan et plusieurs équipes universitaires. Il est basé sur l'échelle de développement des capacités cognitives humaines et aligne le niveau cognitif que les grands modèles peuvent atteindre. FlagEval a construit un grand nombre d'ensembles d'évaluations originaux non publics pour garantir la qualité et l'équité des évaluations. Depuis son lancement en juin 2023, FlagEval a réalisé plus de 1 000 évaluations couvrant de grands modèles à travers le monde.

Doubao-Pro est un grand modèle de langage développé indépendamment par ByteDance et a été officiellement publié le 15 mai. Dans ce numéro du classement des grands modèles de FlagEval, le grand modèle de Doubao a fait ses débuts dans l'évaluation publique et a remporté la deuxième place. Ce modèle possède de puissantes capacités de génération de séquences et de compréhension du langage naturel, et peut être largement utilisé dans la génération de dialogues, le résumé de texte, la traduction automatique et d'autres domaines.

Dans l'évaluation objective et l'évaluation subjective, il est démontré que la capacité mathématique, l'application des connaissances, la résolution de tâches et d'autres capacités du modèle de pouf ont d'excellentes performances à la fois en évaluation objective et en évaluation subjective. Parmi eux, les scores d'application des connaissances et de capacité mathématique se sont classés au premier rang dans l'évaluation objective et parmi les trois premiers dans l'évaluation subjective, et les scores de résolution de tâches se sont classés parmi les trois premiers dans l'évaluation objective.

La capacité mathématique est une dimension importante pour évaluer si un grand modèle est « intelligent ». Auparavant, le Laboratoire de traitement du langage naturel de l'Université de Fudan a mené une évaluation de 13 produits grand modèle grand public pour les questions de mathématiques de l'examen d'entrée à l'université 2024. Les réponses de Doubao au nouveau document standard II de l'examen d'entrée à l'université de mathématiques ont obtenu le score le plus élevé, avec un taux d'exactitude. de 74,66 % pour les questions objectives, les résultats sont meilleurs que GPT-4o et de nombreux produits nationaux de grand modèle.

Source de l'image : FudanNLPCompte officiel du laboratoire

Le grand modèle Doubao est l'un des grands modèles les plus utilisés en Chine avec les scénarios d'application les plus riches, avec un jeton de traitement quotidien moyen de centaines de milliards . Son assistant de conversation IA éponyme « Doubao » se classe au premier rang des téléchargements parmi les applications AIGC sur l'Apple APP Store et les principaux marchés d'applications Android. Actuellement, Doubao Big Model ouvre ses services au marché des entreprises via ByteDance et a établi une coopération avec des fabricants de terminaux intelligents tels que OPPO, Honor, Xiaomi, Samsung et Asus.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!