Déployer Deepseek R1 sur Databricks: un guide étape par étape

Déployer le modèle R1 Deepseek sur Databricks: un guide étape par étape

DATABRICKS, une plate-forme d'ingénierie des données populaire, est de plus en plus utilisée pour l'IA et les tâches d'apprentissage automatique. Ce tutoriel vous guide dans le déploiement du modèle R1 Deepseek distribué sur Databricks, un puissant modèle de grande langue souvent préféré pour le déploiement sur site. Cela évite d'envoyer des données aux serveurs externes. Pour une plongée plus profonde dans les fonctionnalités et les comparaisons de Deepseek R1, consultez le Deepseek-R1: fonctionnalités, comparaison, modèles distillés et plus de blog.

Ce guide couvre la configuration du compte, l'enregistrement du modèle à l'aide de l'interface utilisateur et l'accès via le terrain de jeu et les commandes Curl locales. Nouveau sur Databricks? Le cours d'introduction au Databricks fournit un aperçu complet de la plate-forme Databricks Lakehouse et de ses capacités de gestion des données. Pour une compréhension plus approfondie de la gestion des données au sein de Databricks, considérez la gestion des données dans le cours de Databricks.

Enregistrement du modèle R1 Deepseek

1. Lancez un ordinateur portable: Après avoir créé votre espace de travail Databricks, cliquez sur "Nouveau" et sélectionnez un ordinateur portable.

2. Installez les packages: Installez les bibliothèques Python nécessaires:

%%capture
!pip install torch transformers mlflow accelerate torchvision
%restart_python

3. Modèle de chargement et tokenzer: Chargez le modèle R1 Deepseek et le jeton de la face étreinte:

import pandas as pd
import mlflow
import mlflow.transformers
import torch
from mlflow.models.signature import infer_signature
from transformers import AutoModelForCausalLM, AutoTokenizer, AutoConfig, pipeline

model_name = "deepseek-ai/DeepSeek-R1-Distill-Llama-8B"
tokenizer = AutoTokenizer.from_pretrained(model_name)
config = AutoConfig.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, config=config, torch_dtype=torch.float16)

4. Testez le modèle: Testez avec un échantillon d'invite et générez une signature pour l'enregistrement du modèle:

text_generator = pipeline("text-generation", model=model, tokenizer=tokenizer)
example_prompt = "How does a computer work?"
example_inputs = pd.DataFrame({"inputs": [example_prompt]})
example_outputs = text_generator(example_prompt, max_length=200)
signature = infer_signature(example_inputs, example_outputs)
print(example_outputs)

Sortie attendue (peut varier légèrement):

<code>[{'generated_text': "How does a computer work? What is the computer? What is the computer used for? What is the computer used for in real life?\n\nI need to answer this question, but I need to do it step by step. I need to start with the very basic level and build up from there. I need to make sure I understand each concept before moving on. I need to use a lot of examples to explain each idea. I need to write my thoughts as if I'm explaining them to someone else, but I need to make sure I understand how to structure the answer properly.\n\nOkay, let's start with the basic level. What is a computer? It's an electronic device, right? And it has a central processing unit (CPU) that does the processing. But I think the central processing unit is more efficient, so maybe it's the CPU. Then, it has memory and storage. I remember that memory is like RAM and storage is like ROM. But wait, I think"}]</code>

5. Environnement conda: Définir un environnement conda:

conda_env = {
    "name": "mlflow-env",
    "channels": ["defaults", "conda-forge"],
    "dependencies": [
        "python=3.11",
        "pip",
        {"pip": ["mlflow", "transformers", "accelerate", "torch", "torchvision"]}
    ]
}

6. Enregistrez le modèle: Enregistrez le modèle à l'aide de mlflow.transformers.log_model:

with mlflow.start_run() as run:
    mlflow.transformers.log_model(
        transformers_model=text_generator,
        artifact_path="deepseek_model",
        signature=signature,
        input_example=example_inputs,
        registered_model_name="deepseek_r1_llama_8b",
        conda_env=conda_env
    )

Déployage de profondeur R1

1. Accédez à des modèles: Dans le tableau de bord Databricks, accédez à l'onglet "Modèles".

2. Servir le modèle: Sélectionnez votre modèle et cliquez sur "Servir ce modèle."

3. Configurer le point de terminaison: Nommez votre point de terminaison, choisissez des options de calcul, définissez la concurrence et cliquez sur "Créer".

Pour le réglage fin sur un ensemble de données personnalisé, reportez-vous au tutoriel de profondeur R1 à réglage fin.

Accès au modèle déployé

1. Databricks Playground: Testez directement dans le terrain de jeu de Databricks.

2. Commande Curl: Générez une clé API Databricks (Paramètres & gt; développeur), définissez-la en tant que variable d'environnement ($DATABRICKS_TOKEN), et utilisez Curl:

%%capture
!pip install torch transformers mlflow accelerate torchvision
%restart_python

Pour plus d'informations sur Deepseek R1 contre V3, consultez le blog Deepseek R1 vs V3. Nouveau sur LLMS? L'introduction à LLMS in Python Course est un excellent point de départ. N'oubliez pas que bien que le déploiement du processeur soit possible, il peut être plus lent.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!