Former le LLM à partir de zéro

J'ai réalisé un projet de formation LLM complet, du téléchargement de l'ensemble de données de formation à l'utilisation du modèle entraîné pour générer du texte, l'ensemble du processus est inclus. Prend actuellement en charge l'ensemble de données PILE, un ensemble de données diversifié pour la formation LLM. Vous pouvez limiter la taille de l'ensemble de données, personnaliser l'architecture et la configuration de formation par défaut de Transformer, et bien plus encore.

Voici un exemple de texte généré par mon LLM avec 13 millions de paramètres entraînés sur le GPU Colab T4 :

En ****1978, le parc a été rendu à l'usine - les espaces publics ont été séparés par des clôtures électriques, qui ont été construites immédiatement après la ville où se trouvait la gare. Les canaux des anciens pays occidentaux étaient limités aux zones urbaines. Les villages chinois sont directement reliés aux villes, ce qui suscite des protestations contre le budget américain, tandis que l'avenir des Odambinais est incertain, avec des richesses concentrées dans les zones rurales.

Ce projet se concentre davantage sur le processus d'apprentissage plutôt que sur la création immédiate de la meilleure IA.

Le code, la documentation et les exemples sont tous disponibles sur GitHub :

Lien GitHub

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!