Les données sont devenues au centre de l'amélioration des capacités des grands modèles.
Peu de temps après la sortie de Llama-3, des concurrents sont arrivés, et il s'agissait de petits modèles pouvant fonctionner sur des téléphones portables. Mardi, Microsoft a publié son modèle de petite taille auto-développé Phi-3. Le nouveau modèle comporte trois versions, parmi lesquelles Phi-3 mini est un modèle de langage avec 3,8 milliards de paramètres. Après une formation avec 3,3 billions de jetons, ses performances globales ont obtenu d'excellents résultats aux tests académiques et internes. Bien que le Phi-3 mini soit optimisé pour être déployé sur les téléphones mobiles, ses performances sont comparables à des modèles tels que le Mixtral 8x7B et le GPT-3.5. Microsoft a déclaré que l'innovation réside principalement dans les ensembles de données utilisés pour la formation. En même temps, Phi-3 utilise la même architecture que Llama-2, ce qui permet à la communauté open source de se développer plus facilement sur cette base. Auparavant, les modèles de la série Phi de Microsoft ont suscité des discussions animées en juin de l'année dernière, Microsoft a publié l'article « Les manuels sont tout ce dont vous avez besoin », utilisant les données de « qualité des manuels » de seulement 7 milliards de jetons pour former 1.3 Le paramètre B. le modèle phi-1 atteint de bonnes performances. En septembre dernier, Microsoft a exploré plus avant cette voie, permettant au modèle de langage d'architecture Transformer 1.3B de paramètres Phi-1.5 de montrer de puissantes capacités de codage. À la fin de l'année dernière, Phi-2 proposé par Microsoft a une certaine capacité de bon sens, et ses multiples résultats de tests de référence dépassent Llama2 7B, Llama2 13B, Mistral 7B et d'autres modèles avancés au niveau 2,7B. Rapport technique Phi-3 : https://arxiv.org/abs/2404.14219Le phi-3-mini qui vient d'être proposé est un langage de 3,8 milliards de paramètres formé sur un modèle de 3,3 billions de jetons. Les tests expérimentaux montrent que les performances globales du phi-3-mini sont comparables à celles de modèles tels que Mixtral 8x7B et GPT-3.5. Par exemple, le phi-3-mini atteint 69 % sur MMLU et 8,38 sur MT-bench. Les recherches précédentes de Microsoft sur la série de modèles phi ont montré que des « petites données » de haute qualité peuvent permettre à des modèles plus petits d'obtenir de bonnes performances. phi-3-mini est formé sur des données réseau fortement filtrées et des données synthétiques (similaires à phi-2), avec des ajustements supplémentaires pour la robustesse, la sécurité et le formatage du chat. De plus, l'équipe de recherche fournit également les premiers résultats d'expansion des paramètres pour les modèles 7B et 14B formés pour les jetons 4,8T, appelés phi-3-small et phi-3-medium, qui sont tous deux plus grands que phi-3. - Mini est plus performant. Dans les benchmarks open source standards, phi-3-mini versus phi-2, Mistral-7b-v0.1, Mixtral-8x7B, Gemma 7B, Llama-3- Le les résultats de la comparaison entre instruct8B et GPT-3.5 sont présentés dans le tableau ci-dessous. Pour garantir la comparabilité, tous les résultats sont obtenus via exactement le même pipeline. 
Phi-3-mini a été développé conformément aux principes de Microsoft pour une intelligence artificielle responsable. L'approche globale de la sécurisation des grands modèles comprend le réglage de la sécurité après la formation, les tests d'équipe rouge, les tests automatisés et l'évaluation de dizaines de catégories de danger RAI. Microsoft exploite un ensemble de données de préférences modifié, utile et inoffensif [BJN+ 22, JLD+ 23] inspiré de [BSA+ 24] et plusieurs ensembles de données générés en interne pour traiter les catégories de danger RAI pour la sécurité post-formation. Une équipe rouge indépendante de Microsoft a réexaminé phi-3-mini pour identifier davantage les domaines à améliorer dans le processus post-formation. Sur la base des commentaires de l'équipe rouge, l'équipe de recherche a compilé des ensembles de données supplémentaires pour améliorer l'ensemble de données post-formation. Ce processus a abouti à une réduction significative des taux de réponses délétères, comme le montre la figure 3. Le tableau ci-dessous montre les résultats du benchmark RAI de dialogue interne à plusieurs tours de phi-3-mini-4k et phi-3-mini-128k avec phi-2, Mistral-7B-v0.1, Gemma 7B.Ce benchmark exploite GPT-4 pour simuler plusieurs séries de conversations dans cinq catégories différentes et évaluer les réponses du modèle. Microsoft a déclaré qu'en termes de capacités LLM, bien que le modèle phi-3-mini ait atteint un niveau similaire de compréhension du langage et de capacités de raisonnement que le grand modèle, il échoue sur certains tâches Encore fondamentalement limitées par sa taille. Par exemple, le modèle n’a tout simplement pas la capacité de stocker beaucoup de « connaissances factuelles », comme en témoigne la faible note attribuée sur TriviaQA. Cependant, les chercheurs pensent que ces problèmes peuvent être résolus grâce à des améliorations des moteurs de recherche. Contenu de référence : https://news.ycombinator.com/item?id=40127806Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!
