Le petit modèle de langage Microsoft Orca-2 13B bat les alternatives 70B

Microsoft a récemment publié un nouveau document de recherche sur son modèle d'IA Orca-2 de nouvelle génération. Prouver que la puissance de l’intelligence artificielle s’applique non seulement aux systèmes les plus vastes et les plus complexes, mais qu’elle prospère également dans des cadres plus compacts et accessibles. Microsoft a fait un pas audacieux dans cette direction avec l'introduction d'Orca-2, Orca-2 est un modèle de langage qui remet en question l'idée populaire selon laquelle plus grand signifie toujours mieux. Ce nouveau développement est particulièrement intéressant pour ceux qui sont passionnés par l’intelligence artificielle et cherchent à repousser les limites de ce dont ces systèmes sont capables.

Le document de recherche de Microsoft intitulé « Orca-2 : Enseigner aux petits modèles de langage comment raisonner » est une exploration intéressante de la façon de former de petits modèles comme Orca-2 pour améliorer leurs capacités de raisonnement. Orca-2 ne possède que 13 milliards de paramètres, ce qui prouve que la qualité de la formation peut affecter de manière significative les capacités d'inférence du modèle. Il s’agit d’un aperçu crucial pour quiconque s’intéresse au potentiel des petits modèles pour effectuer des tâches complexes qui étaient autrefois considérées comme le domaine exclusif des modèles plus grands. Microsoft explique plus :

« Orca 2 est notre dernière étape dans l'exploration des capacités des petits LM (environ 10 milliards de paramètres ou moins). Avec Orca 2, nous continuons de démontrer que des signaux et des méthodes de formation améliorés peuvent permettre des modèles de langage plus petits et améliorés. des capacités d'inférence que l'on ne trouve généralement que dans des modèles de langage plus grands. L'un des aspects les plus convaincants de

Orca-2 est sa capacité à surpasser jusqu'à 70 milliards de tâches d'inférence . particulièrement important pour ceux qui travaillent sous des contraintes informatiques ou recherchent des solutions d'IA plus efficaces. Les résultats de référence d'Orca-2 mettent en évidence les capacités d'inférence du modèle. -2 est disponible en deux tailles (7 milliards et 13 milliards de paramètres) ; les deux sont affinés sur des données synthétiques personnalisées de haute qualité créées à partir du modèle de base LAMA 2 correspondant. Nous rendons publics les poids Orca 2 pour encourager la recherche sur le modèle. développement, évaluation et alignement de petits LM

Microsoft Orca-2

Pour souligner son engagement en faveur des progrès collaboratifs en matière d'intelligence artificielle, Microsoft a mis à la disposition de la communauté open source des poids de modèle pour Orca-2

. les chercheurs souhaitent profiter de cette technologie de pointe, l'intégrer dans leurs propres projets et contribuer à l'avancement collectif de l'intelligence artificielle

Ce document de recherche va au-delà de l'apprentissage par imitation traditionnel et introduit des méthodes de formation alternatives. qui donnent à Orca-2 plusieurs stratégies d'inférence. Ces méthodes permettent au modèle de s'adapter à différentes tâches, indiquant une IA plus complexe. Pour ceux qui se penchent sur les complexités de l'intelligence artificielle, cela représente une opportunité d'explorer de nouveaux paradigmes de formation qui pourraient. redéfinir la façon dont nous apprenons aux machines à penser

Orca-2 est construit sur une synthèse soigneusement conçue. Le modèle a été formé sur l'ensemble de données

et a atteint des performances de référence significatives. Cela signifie que le modèle a été affiné grâce à une utilisation stratégique des données, garantissant ainsi. son efficacité et son adaptabilité pour des applications pratiques. Cela signifie un modèle qui est non seulement puissant mais également polyvalent dans la gestion d'une variété de scénarios

Les conditions de licence d'Orca-2 sont adaptées pour souligner sa nature orientée vers la recherche lorsque l'utilisation du modèle est prévue. à considérer car il prend en charge un environnement de développement axé sur la recherche et guide l'utilisation d'Orca-2 dans une variété de projets

Microsoft fournit également des instructions détaillées pour configurer Orca-2 sur votre machine locale. Les utilisateurs peuvent adapter le modèle en conséquence. leurs besoins spécifiques et obtenez une compréhension plus approfondie de son fonctionnement interne. Que vous soyez développeur, chercheur ou passionné d'IA, ce niveau de personnalisation est inestimable pour explorer toutes les capacités d'Orca-2.

Orca-2 de Microsoft représente une avancée majeure en matière de compact. modèles de langage, offrant des capacités d’inférence améliorées qui remettent en question la domination des grands modèles. Qu'il s'agisse d'une collaboration open source, d'une technologie de formation innovante ou d'initiatives de recherche, un partenariat avec Orca-2 vous place à l'avant-garde d'une période de transformation dans le développement de l'IA. L'Orca-2 de Microsoft élargit non seulement les horizons de ce que les petits modèles peuvent faire, mais vous invite également à jouer un rôle actif dans ce domaine passionnant.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!