Au-delà de la modélisation du langage causal

SPELIGNEMENTS DE NEIRIPS 2024: Optimisation du modèle de langue Pretering avec modélisation du langage sélectif (SLM)

Récemment, j'ai présenté un article fascinant de Neirips 2024, "Tous les jetons ne sont pas ce dont vous avez besoin pour pré-formation", dans un groupe de lecture local. Cet article aborde une question étonnamment simple mais percutante: la prédiction du prochain est-elle nécessaire pour chaque token pendant le modèle de langue pré-formation?

L'approche standard implique des ensembles de données massifs et applicables à la modélisation du langage causal (CLM) universellement. Cet article remet en question cette hypothèse, proposant que certains jetons entravent, plutôt que d'aide, le processus d'apprentissage. Les auteurs démontrent que la concentration de formation sur les jetons "utiles" améliore considérablement l'efficacité des données et les performances des tâches en aval. Ce message résume leurs idées de base et leurs principales résultats expérimentaux.

Le problème: bruit et apprentissage inefficace

Les grands corpus Web contiennent inévitablement du bruit. Bien que le filtrage au niveau des documents aide, le bruit réside souvent dans des documents individuels. Ces jetons bruyants déchet les ressources de calcul et potentiellement confondre le modèle.

Les auteurs ont analysé la dynamique d'apprentissage au niveau des jetons, catégorisant les jetons en fonction de leur trajectoire de perte entre entropie:

• l → l (faible à bas): appris rapidement, offrant un avantage supplémentaire minimal.
• h → l (haut à bas): initialement difficile, mais finalement appris; représentant de précieuses opportunités d'apprentissage.
• H → H (élevé à élevé): toujours difficile, souvent en raison de l'imprévisibilité inhérente (incertitude aléatorique).
• l → h (bas à haut): initialement appris, mais deviennent plus tard problématiques, peut-être en raison de changements de contexte ou de bruit.

Leur analyse révèle que seule une petite fraction de jetons fournit des signaux d'apprentissage significatifs.

La solution: modélisation sélective du langage (SLM)

La solution proposée, la modélisation sélective du langage (SLM), offre une approche plus ciblée:

1. Formation du modèle de référence (RM): Un sous-ensemble de haute qualité des données est utilisé pour affiner un modèle de base pré-formé, créant un modèle de référence (RM). Ce RM agit comme une référence pour la «utilité» des jetons.

2. Calcul de la perte excessive: Pour chaque jeton dans le grand corpus, la différence entre la perte du RM et la perte du modèle de formation actuel (la "perte excessive") est calculée. Une perte excessive plus élevée indique un plus grand potentiel d'amélioration.

3. Backpropagation sélective: La passe avant complète est effectuée sur tous les jetons, mais la rétro-propagation se produit uniquement pour le haut k% de jetons avec la perte excessive la plus élevée. Cela concentre dynamiquement la formation sur les jetons les plus précieux.

Résultats expérimentaux: gains significatifs

SLM démontre des avantages significatifs dans diverses expériences:

• Domaine mathématique: sur openwebmath , SLM a atteint jusqu'à 10% de gains de performance sur GSM8K et les repères mathématiques par rapport au CLM standard, atteignant les performances de base 5 à 10 fois plus rapidement. Un modèle 7B correspondait à un modèle de pointe utilisant seulement 3% de ses jetons d'entraînement. Le réglage fin a encore augmenté les performances de plus de 40% pour un modèle 1B.

• Domaine général: Même avec un fort modèle de base pré-formé, le SLM a donné une amélioration moyenne d'environ 5,8% à travers 15 repères, en particulier dans des domaines difficiles comme le code et les mathématiques.

• Auto-référence: Même un RM rapidement formé du corpus brut a fourni une augmentation de la précision de 2 à 3% et une réduction de 30 à 40% des jetons utilisés.

Conclusion et travaux futurs

Cet article offre des informations précieuses sur la dynamique d'apprentissage au niveau des jetons et introduit SLM, une technique très efficace pour optimiser la pré-entraînement du modèle de langue. Les orientations de recherche futures comprennent la mise à l'échelle du SLM vers des modèles plus grands, l'exploration des modèles de référence basés sur l'API, l'intégration de l'apprentissage du renforcement, l'utilisation de plusieurs modèles de référence et l'alignement du SLM avec des considérations de sécurité et de véracité. Ce travail représente une progression importante dans la formation efficace et efficace du modèle de langage.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!