Grands modèles de petits lamas pouvant être exécutés avec un minimum de ressources de calcul et de mémoire

Introduction au contexte

Dans l'ère actuelle d'information explosive, la formation de modèles linguistiques devient de plus en plus complexe et difficile. Afin de former un modèle de langage efficace, nous avons besoin de beaucoup de ressources informatiques et de temps, ce qui est peu pratique pour de nombreuses personnes. Dans le même temps, nous sommes également confrontés au défi de savoir comment appliquer de grands modèles de langage avec des ressources de mémoire et de calcul limitées, en particulier sur les appareils de pointe.

Aujourd'hui, j'aimerais vous recommander un projet open source GitHub, jzhang38/TinyLlama, qui compte plus de 4,3 000 étoiles sur GitHub. Pour présenter le projet en une phrase, voici : "Le projet TinyLlama est un effort ouvert. pré-entraîner un modèle de 1,1 milliard de lamas sur 3 000 milliards de jetons.

Introduction au projet

L'objectif de TinyLlama est de pré-entraîner un modèle de lama de 1,1 milliard sur 3 000 milliards de jetons. Avec une optimisation appropriée, nous pouvons y parvenir en seulement 90 jours en utilisant 16 GPU A100-40G. Le projet utilise exactement la même architecture et le même tokenizer que Llama 2, ce qui signifie que TinyLlama peut être facilement intégré et utilisé dans de nombreux projets open source basés sur Llama. De plus, TinyLlama est très compact, avec seulement 1,1 milliard de paramètres. Cette compacité le rend adapté à de nombreux scénarios d’application nécessitant un encombrement informatique et mémoire limité.

Comment utiliser

Vous pouvez directement télécharger le modèle et l'utiliser, ou utiliser la démo via huggingface.

Si vous souhaitez vous entraîner seul, merci de vous référer aux détails de la formation ci-dessous.

Promotion du projet

TinyLlama est un projet open source passionnant qui résout activement certains problèmes clés et a reçu une large attention dans la communauté open source.

Ce qui suit est le tableau de tendance Star du projet (représentant le niveau d'activité du projet) :

Pour plus de détails sur le projet, veuillez consulter le lien ci-dessous.

Adresse du projet Open source : https://github.com/jzhang38/TinyLlama

Auteur du projet Open source : jzhang38

Voici tous les membres impliqués dans la construction du projet :

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!