O1-MINI: un modèle de changement de jeu pour la tige et le raisonnement

OpenAI présente O1-Mini, un modèle de raisonnement rentable en mettant l'accent sur les sujets STEM. Le modèle démontre des performances impressionnantes en mathématiques et en codage, ressemblant étroitement à son prédécesseur, Openai O1, sur divers repères d'évaluation. OpenAI prévoit que O1-MinI servira de solution rapide et économique pour les applications exigeant des capacités de raisonnement sans connaissances globales approfondies. Le lancement d'O1-MINI est ciblé aux utilisateurs d'API de niveau 5, offrant une réduction des coûts de 80% par rapport à l'Openai O1-Preview. Examinons plus en profondeur le fonctionnement de l'O1 Mini.

Aperçu

• O1-Mini d'OpenAI est un modèle de raisonnement STEM rentable, surpassant ses pairs.
• Une formation spécialisée fait d'O1-Mini un expert en STEM, excellant en mathématiques et en codage.
• Les évaluations humaines présentent les forces d'O1-Mini dans le raisonnement, la favorisant par rapport à GPT-4O.
• Les mesures de sécurité garantissent l'utilisation responsable d'O1-MinI, avec une robustesse de jailbreak améliorée.
• L'innovation d'Openai avec O1-Mini offre un outil STEM fiable et transparent.

Table des matières

• O1-MINI VS AUTRES LLMS
• GPT 4O VS O1 VS O1-MINI
• Comment utiliser O1-MinI?
• Performance stellaire d'O1-Mini: mathématiques, codage et au-delà
  • Mathématiques
  • Codage
  • TIGE
  • Évaluation des préférences humaines
• Composant de sécurité dans O1-MINI
• Note finale

O1-MINI VS AUTRES LLMS

Les LLM sont généralement pré-formées sur de grands ensembles de données de texte. Mais voici la prise; Bien qu'ils aient cette vaste connaissance, cela peut parfois être un peu un fardeau. Vous voyez, toutes ces informations les rendent un peu lentes et coûteuses à utiliser dans les scénarios du monde réel.

Ce qui distingue O1-Mini des autres LLMS, c'est le fait que c'est formé pour la tige. Cette formation spécialisée fait d'O1-Mini un expert en tâches liées aux STEM. Le modèle est efficace et rentable, parfait pour les applications STEM. Ses performances sont impressionnantes, en particulier en mathématiques et en codage. O1-MINI est optimisé pour la vitesse et la précision du raisonnement STEM. C'est un outil précieux pour les chercheurs et les éducateurs.

O1-MinI excelle dans l'intelligence et le raisonnement de référence, surprenant O1-Preview et O1, mais se débat avec les tâches de connaissances factuelles non soumises.

Lire aussi: O1: le nouveau modèle d'Openai qui «pense» avant de répondre à des problèmes difficiles

GPT 4O VS O1 VS O1-MINI

La comparaison des réponses sur une question de raisonnement de mots met en évidence la disparité des performances. Alors que GPT-4O a eu du mal, O1-Mini et O1-Preview ont excellé, fournissant des réponses précises. Notamment, la vitesse d'O1-Mini était remarquable, répondant environ 3-5 fois plus rapide.

Comment utiliser O1-MinI?

• Chatgpt Plus et Utilisateurs de l'équipe : Accédez à O1-MinI du Picker Model aujourd'hui, avec des limites hebdomadaires 50 messages.
• ChatGPT Enterprise and Education Users : L'accès aux deux modèles commence la semaine prochaine.
• Développeurs : les utilisateurs d'API de niveau 5 peuvent expérimenter ces modèles aujourd'hui, mais des fonctionnalités comme l'appel de fonction et le streaming ne sont pas encore disponibles.
• Utilisateurs gratuits de ChatGPT : O1-MINI sera bientôt disponible pour tous les utilisateurs gratuits.

Performance stellaire d'O1-Mini: mathématiques, codage et au-delà

Le modèle Openai O1-Mini a été mis à l'épreuve dans diverses compétitions et références, et ses performances sont assez impressionnantes. Regardons les différentes composantes une par une:

Mathématiques

Dans le concours de mathématiques AIME du lycée, O1-Mini a obtenu un score de 70,0%, ce qui est à égalité avec le modèle O1 plus cher (74,4%) et nettement meilleur que O1-Preview (44,6%). Ce score place O1-Mini parmi les 500 meilleurs élèves du secondaire américain, une réalisation remarquable.

Codage

Passant au codage, O1-MinI brille sur le site Web de la compétition Codeforces, atteignant un score ELO de 1650. Ce score est compétitif avec O1 (1673) et dépasse O1-Preview (1258). Cela place O1-MinI dans le 86e centile des programmeurs qui rivalisent sur la plate-forme CodeForces. De plus, O1-MINI fonctionne bien sur la référence codante Humaneval et les défis de capture de cybersécurité au niveau du lycée (CTF), solidifiant davantage ses prouesses de codage.

TIGE

O1-MinI a prouvé son courage dans divers repères académiques qui nécessitent de solides compétences de raisonnement. Dans des références comme GPQA (science) et Math-500, O1-Mini a surpassé le GPT-4O, présentant son excellence dans les tâches liées aux STEM. Cependant, en ce qui concerne les tâches qui nécessitent un éventail plus large de connaissances, telles que MMLU, O1-MINI peut ne pas fonctionner aussi bien que GPT-4O. En effet, O1-MINI est optimisé pour le raisonnement STEM et peut manquer des connaissances mondiales approfondies que GPT-4O possède.

Évaluation des préférences humaines

Les évaluateurs humains ont activement comparé les performances d'O1-Mini contre GPT-4O sur des invites difficiles dans divers domaines. Les résultats ont montré une préférence pour O1-MINI dans les domaines du raisonnement, mais GPT-4O a pris les devants dans les zones axées sur le langage, mettant en évidence les forces des modèles dans différents contextes.

Composant de sécurité dans O1-MINI

La sécurité et l'alignement du modèle O1-MINI sont de la plus haute importance pour assurer son utilisation responsable et éthique. Voici une explication des mesures de sécurité mises en œuvre:

• Techniques de formation: l'approche de formation d'O1-Mini reflète celle de son prédécesseur, O1-Preview, en se concentrant sur l'alignement et la sécurité. Cette stratégie garantit que les résultats du modèle s'alignent sur les valeurs humaines et atténuent les risques potentiels, un aspect crucial de son développement.
• Robustesse jailbreak: L'une des principales caractéristiques de sécurité d'O1-Mini est sa robustesse de jailbreak améliorée. Sur une version interne de l'ensemble de données StrongReject, O1-Mini démontre une robustesse de jailbreak de 59% plus élevée par rapport à GPT-4O. La robustesse jailbreak fait référence à la capacité du modèle à résister aux tentatives de manipulation ou de mauvaise utilisation de ses résultats, garantissant qu'elle reste alignée sur son objectif prévu.
• Évaluation de la sécurité: Avant de déployer O1-MinI, une évaluation approfondie de la sécurité a été effectuée. Cette évaluation a suivi la même approche utilisée pour l'O1-Preview, qui comprenait des mesures de préparation, des équipements externes et des évaluations de sécurité complètes. L'équipe rouge externe implique d'engager des experts indépendants pour identifier les vulnérabilités potentielles et les risques de sécurité.
• Résultats détaillés: Les résultats de ces évaluations de sécurité sont publiés dans la carte du système qui l'accompagne. Cette transparence permet aux utilisateurs et aux chercheurs de comprendre les mesures de sécurité du modèle et de prendre des décisions éclairées sur son utilisation. La carte système donne un aperçu des performances, des limites et des risques potentiels du modèle, garantissant un déploiement et une utilisation responsables.

Note finale

O1-Mini d'Openai change la donne pour les applications STEM, offrant une économie et des performances impressionnantes. Sa formation spécialisée améliore les capacités de raisonnement, en particulier en mathématiques et en codage. Avec des mesures de sécurité robustes, O1-MinI excelle dans les repères STEM, fournissant un outil fiable et transparent pour les chercheurs et les éducateurs.

Restez à l'écoute sur Analytics Vidhya Blog pour en savoir plus sur les utilisations d'O1 Mini!

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!