16 articles en trois ans, l'ancien chercheur scientifique de Google Yi Tay a officiellement annoncé un nouveau modèle, 21B comparable à Gemini Pro, GPT-3.5

Le nouveau modèle de l'équipe est comparable à Gemini Pro et GPT-3.5 dans plusieurs benchmarks.

Si vous lisez souvent des articles sur les grands modèles d'IA, Yi Tay doit être un nom familier. En tant qu'ancien chercheur scientifique principal chez Google Brain, Yi Tay a contribué à de nombreux modèles linguistiques à grande échelle et modèles multimodaux bien connus, notamment PaLM, UL2, Flan-U-PaLM, LaMDA/Bard, ViT-22B, PaLI. , MAMAN, etc.

Selon les statistiques de profil de Yi Tay, en plus de 3 ans de travail chez Google Brain, il a participé à la rédaction d'un total d'environ 45 articles et est co-auteur de 16 d'entre eux. Les articles rédigés incluent UL2, U-PaLM, DSI, Synthesizer, Charformer et Long Range Arena, etc.

Comme la plupart des auteurs de Transformer qui ont quitté Google pour créer leur propre entreprise, Yi Tay a annoncé son départ de Google en mars de l'année dernière et a cofondé une société appelée Reka. Yi Tay est le scientifique en chef de l'entreprise, se concentrant sur les grandes entreprises. Modèle de langages à grande échelle.

Au fil du temps, Yi Tay vient d'annoncer la sortie d'un nouveau modèle :

"Je suis heureux de partager avec vous Reka Flash, un nouveau multi-mode 21B avec performances SOTA Un modèle dynamique qui est comparable à Gemini Pro et GPT 3.5 sur les benchmarks linguistiques et visuels. Nous avons formé ce modèle à partir de zéro avec des ressources relativement limitées... Pendant ce temps, notre modèle le plus grand et le plus puissant, Reka-Core, est également sur le point d'être terminé. avec impatience notre prochain travail. "

Reka Flash : un modèle de langage multimodal efficace

Reka Flash a une taille de paramètre de 21B et est complètement démarré à partir de zéro. Les performances d'entraînement sont comparables à celles d'un plus grand. modèles, et Reka Flash est compétitif avec Gemini Pro et GPT-3.5 sur de nombreux tests de langage et de vision.

De plus, l'équipe Reka a également proposé une variante de modèle plus compacte, Reka Edge, qui a moins de paramètres, seulement 7B, et est plus efficace, ce qui la rend adaptée aux applications aux ressources limitées (par exemple, sur les appareils, It peut également s'exécuter dans des scénarios locaux).

Il est à noter que ces deux modèles sont en phase de test public et que les lecteurs intéressés peuvent aller les essayer.

Adresse d'essai : https://chat.reka.ai/auth/login

Dans le même temps, l'équipe Reka a annoncé que son modèle Reka Core le plus grand et le plus puissant serait disponible au public déploiement dans les semaines à venir.

Quant à la question de l'open source, l'équipe a déclaré qu'elle était toujours à l'étude.

Évaluation : Langues

Les critères d'évaluation incluent MMLU (réponse aux questions basée sur les connaissances), GSM8K (raisonnement et mathématiques), HumanEval (génération de code) et GPQA (niveau d'études supérieures à l'épreuve de Google réponse aux questions).

Les résultats montrent que Reka Flash obtient de très bons résultats dans ces benchmarks : surperformant Gemini Pro sur MMLU et GPQA, et obtenant des résultats compétitifs sur GSM8K et HumanEval. De plus, dans ces évaluations, Reka Flash surpasse nettement de nombreux modèles plus grands (par exemple Llama 2 70B, Grok-1, GPT-3.5).

Évaluation : Raisonnement multilingue

Texte Reka Flash dans plus de 32 langues (dont anglais, allemand, chinois, japonais, français, coréen, espagnol, italien, arabe et plus) Pré-formé sur Reka Flash, Reka Flash peut donc être considéré comme un modèle multilingue puissant. Les chercheurs ont comparé les performances de différents modèles sur des critères multilingues, notamment le raisonnement multilingue de bon sens, le raisonnement causal et la réponse aux questions. Les résultats montrent que Reka Flash surpasse Llama-2 70B et Mixtral dans toutes ces tâches.

Évaluation : Vision et vidéo

De plus, l'étude évalue également Reka Flash sur des critères multimodaux, notamment la réponse visuelle aux questions (MMMU, VQA-v2), les sous-titres vidéo (VATEX) et question et réponse vidéo (Test de perception). Les résultats montrent que le Reka Flash est compétitif par rapport au Gemini Pro dans les quatre benchmarks.

L'étude a également mené une série d'évaluations humaines pour évaluer le modèle de chat basé sur Reka Flash. Les chercheurs ont considéré deux paramètres, 1) un modèle de chat textuel et 2) un modèle de chat multimodal. Au cours de l'évaluation, ils ont calculé le score ELO et le taux de victoire global en suivant la méthode d'Askell et al.

Chat en texte brut : les chercheurs ont comparé les principaux modèles tels que GPT-4, Claude 2.1 et Gemini Pro (version API). En outre, les chercheurs ont également comparé les performances des modèles de chat Reka Edge, Mistral 7B et Llama 2 7B.

Les résultats de l'évaluation humaine montrent que Reka Flash obtient des résultats compétitifs, surpassant GPT-3.5 Turbo, Claude, Mixtral et Gemini Pro. Le Reka Edge devance les deux autres modèles 7B et se rapproche des performances du Claude Instant 1.2.

Évaluation : multimodale

L'étude a également testé Reka Flash avec des modèles de langage multimodaux tels que GPT4-V, Gemini Pro, Llava-1.6, IDEFICS 80b et Adept Fuyu-8B Compare. Les résultats montrent que Reka Flash surpasse tous les modèles à l'exception du GPT4-V. Le Reka Edge a également obtenu de bons classements, dépassant le Llava 1.6 7B basé sur Mistral 7B et se rapprochant des performances du Gemini Pro.

Modèle Reka Edge avec paramètres 7B

Reka Edge est un modèle 7B plus compact conçu pour le déploiement sur site et les applications sensibles à la latence. Lors d'une tâche d'évaluation linguistique, l'étude rapporte des comparaisons avec des modèles de taille similaire (c'est-à-dire Mistral 7B et Llama-2 7B). Les résultats montrent que Reka Edge surpasse Llama 2 7B et Mistral 7B dans les tests de langage standard.

Résumé

L'équipe Reka déclare avoir pour objectif de construire le modèle de langage multimodal le plus avancé, et avec la sortie de Reka Flash et Reka Edge, les premières étapes de leur feuille de route IA ont été atteint. Tout le monde peut attendre avec impatience ses prochaines recherches.

^{Lien de référence : https://reka.ai/reka-flash-an-efficient-and-capable-multimodal-lingual-model/}

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!