Comment exécuter Alpaca-Lora sur votre appareil

Alors que l'IA générative continue d'être populaire, les développeurs du monde entier ont saisi l'occasion de créer des applications passionnantes en utilisant le langage naturel. Récemment, un outil appelé Chatgpt a été particulièrement frappant.

Chatgpt est un modèle de langue développé par OpenAI pour agir comme un chatbot propulsé par l'IA capable de conversations humaines. Bien qu'il s'agisse d'un outil très utile, ce n'est pas sans problèmes. Chatgpt n'est pas open source, ce qui signifie que le code source est inaccessible et ne peut pas être modifié. Il est également extrêmement à forte intensité de ressources, ce qui fait de la construction de votre propre implémentation une mauvaise solution.

Ces problèmes ont engendré une gamme d'alternatives à Chatgpt, comme Alpaca-Lora, qui peut fonctionner comme Chatgpt mais a une licence open source et moins de ressources.

Dans ce tutoriel, nous nous concentrerons sur Alpaca-Lora. Nous couvrirons ce que c'est, les conditions préalables nécessaires pour l'exécuter sur votre appareil et les étapes pour l'exécuter.

Qu'est-ce que Alpaca Lora?

Début mars 2023, Eric J. Wang a publié le projet Alpaca-Lora. Il s'agit d'un projet contenant du code pour reproduire les résultats de Standford Alpaca en utilisant un ajustement fin (PEFT) efficace des paramètres;

L'adaptation de faible rang (LORA) pour les modèles de langage importante est une méthode utilisée pour accélérer les processus de formation de grands modèles tout en réduisant la consommation de mémoire.

Cela fonctionne comme suit:

• a figé le poids existant . Considérez le modèle comme un réseau complexe de nœuds interconnectés (ce sont des «poids»). En règle générale, vous ajustez tous ces nœuds pendant la formation pour améliorer le modèle. "Ne le touchons pas; gardons-le tel quel."
• Ajouter un nouveau poids . Lora ajoute ensuite de nouvelles connexions plus simples (nouveaux poids) à ce réseau.
• entraîner uniquement de nouveaux poids . Au lieu de régler l'ensemble du réseau complexe, concentrez-vous sur l'amélioration de ces nouvelles connexions plus simples.

En faisant cela, vous pouvez économiser du temps et de la mémoire de l'ordinateur tout en rendant votre modèle meilleur dans les tâches.

Les avantages de Lora

Les avantages de Lora incluent:

• Porabilité - La matrice de poids de décomposition de rang contient beaucoup moins de paramètres formables que le modèle d'origine; Par conséquent, les poids LORA formés sont faciles à porter et peuvent être exécutés sur un PI de framboise.
• L'accessibilité - Lora a été démontré que l'utilisation de la mémoire du GPU par rapport au réglage final traditionnel est-il possible de s'adapter aux GPU des consommateurs tels que Tesla T4, RTX 3080, ou même le RTX 2080 Ti.

alpaca: modèle open source

En revanche, Alpaca est un modèle de langue ajusté d'instructions open source basée sur le modèle de grande langue Meta AI (LLAMA). Il a été développé par une équipe de chercheurs de l'Université de Stanford pour rendre les modèles de grande langue (LLMS) plus accessibles.

Cela conduit à Alpaca-Lora.

Le modèle Alpaca-Lora est une version moins consommatrice de ressources du modèle Alpaca Stanford, qui utilise LORA pour accélérer le processus de formation tout en consommant moins de mémoire.

Prérequis alpaca-lora

Pour exécuter le modèle alpaca-lora localement, vous devez avoir un GPU. Il peut s'agir d'un GPU à faible spécification, comme le NVIDIA T4, ou un GPU de qualité grand public comme le 4090. Selon Eric J. Wang, le créateur du projet, le modèle «prend des heures pour fonctionner sur un RTX 4090».

** Remarque: Les instructions de cet article suivent les instructions fournies par Eric J. Wang dans la base de code alpaca-lora. *

Méthodes pour exécuter l'alpaca-lora en quatre étapes

Étape 1: Créez un environnement virtuel (facultatif)

L'environnement virtuel est un conteneur isolé pour stocker les dépendances liées à Python requises par un projet spécifique. Cela aide à séparer les dépendances requises par différents projets, ce qui facilite le partage de projets et la réduction des conflits de dépendance.

L'utiliser pour exécuter le modèle alpaca-lora n'est pas obligatoire, mais il est recommandé.

Pour créer un environnement virtuel à l'invite de commande du système d'exploitation Windows, exécutez la commande suivante:

<code>py -m venv venv</code>

Cela créera un environnement virtuel appelé VENV dans votre répertoire de travail actuel.

** Remarque: Vous pouvez remplacer le deuxième Venv par n'importe quel nom que vous souhaitez pour votre nom préféré. *

Vous devez activer l'environnement virtuel avant d'installer des dépendances. Exécutez la commande suivante pour activer votre environnement virtuel:

<code>venv\Scripts\activate.bat</code>

Lorsque vous n'utilisez plus l'environnement virtuel, exécutez la commande suivante pour la désactiver:

<code>deactivate</code>

Maintenant, vous pouvez commencer à exécuter Alpaca-Lora.

Étape 2: Set

La première étape de l'exécution du modèle alpaca-lora consiste à cloner la base de code à partir de GitHub et à installer les dépendances requises pour exécuter.

Installez la base de code GitHub avec la commande suivante:

<code>git clone https://github.com/tloen/alpaca-lora.git</code>

Ensuite, utilisez la commande suivante pour accéder à la base de code alpaca-lora que vous venez d'installer:

<code>cd alpaca-lora</code>

et exécutez la commande suivante pour installer les dépendances:

<code>pip install -r requirements.txt</code>

Étape 3: affinez le modèle (facultatif)

La base de code alpaca-lora contient un fichier nommé finetune.py. Finetune.py contient des applications simples pour que le réglage fin efficace des paramètres (PEFT) soit appliqué aux modèles LLAMA, entre autres.

Si vous souhaitez ajuster les hyperparamètres du modèle, vous devez exécuter ce fichier, mais ce n'est pas une exigence obligatoire. Selon l'auteur de la base de code, "Aucun réglage hyperparamètre n'est requis, le modèle LORA produit une sortie comparable au modèle alpaca de Stanford.

Ce qui suit est un exemple de la façon d'utiliser le fichier finetune.py:

<code>python -m finetune.py \
    --base_model 'decapoda-research/llama-7b-hf' \
    --data_path 'yahma/alpaca-cleaned' \
    --output_dir './lora-alpaca' \
    --batch_size 128 \
    --micro_batch_size 4 \
    --num_epochs 3 \
    --learning_rate 1e-4 \
    --cutoff_len 512 \
    --val_set_size 2000 \
    --lora_r 8 \
    --lora_alpha 16 \
    --lora_dropout 0.05 \
    --lora_target_modules '[q_proj,v_proj]' \
    --train_on_inputs \
    --group_by_length</code>

Étape 4: Exécutez le modèle / inférence

La base de code alpaca-lora a également un fichier appelé generate.py. Exécution Generate.py fera ce qui suit:

• Lisez le modèle de base de Hugging Face Model Center
• Lire les poids du modèle de Tloen / Alpaca-lora-7b
• lance une interface Gradio où l'inférence est effectuée sur l'entrée spécifiée.

Au moment de la rédaction du moment de la rédaction, le dernier adaptateur alpaca-lora utilisé pour former des modèles est Alpaca-Lora-7B. Cela a été fait le 26 mars 2023 avec la commande suivante:

<code>py -m venv venv</code>

Si vous souhaitez utiliser un adaptateur différent, vous pouvez le faire en exécutant le fichier generate.py avec un lien vers votre cible d'adaptateur préféré.

<code>venv\Scripts\activate.bat</code>

Résumé

Alpaca-Lora est une version moins consommatrice de ressources du modèle Alpaca Stanford. Il y parvient en tirant parti de l'adaptation de faible rang (LORA) des modèles de gros langues, ce qui accélère le processus de formation tout en consommant moins de mémoire que le modèle d'alpaga d'origine.

En savoir plus sur les modèles de grandes langues (LLM) et l'IA génératrice avec les tutoriels suivants:

• Introduction à Meta Ai Llama
• Comment former LLM avec Pytorch: guide étape par étape

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!