OLMO 2: Modèle de fondation entièrement open source

Les modèles de langage OLMO 2 révolutionnaires d'Ai2 sont entièrement open-source, définissant une nouvelle référence pour les performances et la transparence dans le domaine des modèles de grande langue (LLM). Ces modèles autorégressifs offrent une formation optimisée, des mélanges de données innovants et des techniques de réglage des instructions avancées. Plongeons dans les détails.

"Tout le monde veut des modèles de langue open source, mais personne ne veut soulever ces poids lourds." - Nathan Lambert (@natolambert)

Ce tweet résume parfaitement le défi que l'AI2 a surmonté. Leur papier "2 Olmo 2 Furious" détaille leur succès.

Table des matières

• 2 olmo 2 furieux: une plongée profonde
• Caractéristiques clés de OLMO 2
  • Stabilité de la formation robuste
  • Mélanges de données optimisées
  • Améliorations architecturales
• Raffinements post-entraînement
• Infrastructure: un ingrédient clé
• OLMO 2 Benchmarked: Performance comparée
• Vivre olmo 2
• Accéder à OLMO 2: Liens clés
• Conclusion

2 olmo 2 furieux: une plongée profonde

Olmo 2, disponible en tailles de paramètres 7b et 13b, se distingue par une transparence complète. AI2 a publié publiquement les données de formation, le code, les recettes et même les points de contrôle intermédiaires, la promotion de la collaboration et l'accélération de la recherche. Ces modèles offrent des performances comparables à des leaders de l'industrie comme LLAMA 3.1 et QWEN 2.5, mais avec une efficacité considérablement améliorée.

Le document de recherche "2 Olmo 2 Furious" fournit des détails complets.

Caractéristiques clés de OLMO 2

Stabilité de la formation robuste

OLMO 2 s'attaque aux instabilités de formation courantes (pics de perte) en utilisant:

• Raffinement des données: filtrage des N-grammes redondants.
• Initialisation améliorée: un schéma d'initialisation standardisé.
• Regularisation: utilisation de la perte Z pour stabiliser les logits de sortie.

Ces améliorations permettent une formation plus fluide et une gestion efficace des ensembles de données plus importants.

Mélanges de données optimisées

Olmo 2 utilise une approche de pré-formation en deux étapes:

• Pré-formation initiale: tirant parti de 5 billions de jetons de données Web de haute qualité.
• Amélioration de la formation à mi-entraînement: intégration de données spécifiques au domaine (mathématiques, STEM), illustrées par l'ensemble de données Dolmino Mix 1124.

Améliorations architecturales

L'architecture d'Olmo 2 incorpore:

• RMSNorm: pour une normalisation d'activation stable.
• Norme de couche réorganisée: améliorer la stabilité en normalisant l'attention et les sorties de couche à action directe.
• Encodage de position à haute résolution: intégres de position rotatif avec une résolution accrue.

Ces choix architecturaux contribuent à l'évolutivité et à l'efficacité.

Raffinements post-entraînement

Le post-formation d'Olmo 2 exploite la recette de Tülu 3, en se concentrant sur:

• Affinement fin supervisé (SFT): Affinage des capacités de suivi des instructions.
• Apprentissage par renforcement avec récompenses vérifiables (RLVR): optimisation des performances sur des tâches spécifiques (mathématiques, raisonnement factuel).

Il en résulte des modèles d'Olmo 2-instruments qui excellent dans des repères comme GSM8K et MMLU.

Infrastructure: un ingrédient clé

L'infrastructure avancée de l'AI2 est cruciale pour le succès d'Olmo 2:

• Clueurs informatiques hautes performances: utilisation des GPU NVIDIA H100 dans plusieurs centres de données.
• Gestion de la charge de travail Beaker: pour une distribution et une surveillance efficaces de la charge de travail.

Cette infrastructure robuste minimise les interruptions de formation et maximise l'utilisation des ressources.

OLMO 2 Benchmarked: Performance comparée

Olmo 2 surpasse fréquemment Qwen 2.5 et LLAMA 3.1 sur des tâches spécifiques, en particulier avec l'inclusion du mélange de Dolmino 1124. Il démontre également une efficacité remarquable, obtenant des résultats comparables ou supérieurs avec jusqu'à 20% de flops moins.

Vivre olmo 2

Accédez au modèle et essayez-le vous-même! Des instructions à usage local sont également disponibles.

Accéder à OLMO 2: Liens clés

• Papier: https://www.php.cn/link/cb14acf78723becd7023f4f56027cece
• Blog: https://www.php.cn/link/96b0548661234c39ac2a02872f8cfcb2
• Demo: https://www.php.cn/link/3eebaed369eb3ae36a90f310fc33638c
• Collection: https://www.php.cn/link/ae3b166c302150f4def9a8176fd36460

Conclusion

OLMO 2 représente un progrès significatif de l'IA open source, priorisant la transparence et l'innovation. En partageant ouvertement ses ressources, AI2 favorise la collaboration et accélère les progrès dans le domaine, ce qui stimule l'avenir des applications d'IA.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!