Pourquoi ma session Google Colab s'est-elle arrêtée lors de l'exécution du modèle Llama ?

J'essaie d'utiliser le modèle meta-llama/Llama-2-7b-hf et de l'exécuter localement dans mes locaux mais la session s'est écrasée pendant le processus.

J'essaie d'utiliser le modèle meta-llama/Llama-2-7b-hf et de l'exécuter localement dans mes locaux. Pour ce faire, j'utilise Google Colab et j'ai obtenu une clé d'accès auprès de Hugging Face. J'utilise leur bibliothèque de transformateurs pour les tâches nécessaires. Au départ, j'ai utilisé la pile d'exécution GPU T4 sur Google Colab, qui fournissait 12,7 Go de RAM système, 15,0 Go de RAM GPU et 78,2 Go d'espace disque. Malgré ces ressources, ma session a planté et j'ai rencontré l'erreur suivante :

Par la suite, je suis passé à la pile d'exécution TPU V2, qui offre 334,6 Go de RAM système et 225,3 Go d'espace disque, mais le problème a persisté.

Voici mon code :

!pip install transformers
!pip install --upgrade transformers

from huggingface_hub import login
login(token='Access Token From Hugging Face')

import pandas as pd
from transformers import AutoTokenizer, AutoModelForSequenceClassification, TrainingArguments, Trainer
from torch.utils.data import Dataset

# Load pre-trained Meta-Llama-3.1-8B model
model_name = "meta-llama/Llama-2-7b-hf"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSequenceClassification.from_pretrained(model_name)

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!