Bereitstellung von Deepseek R1 in Datenbäumen: eine Schritt-für-Schritt-Anleitung

Bereitstellen des Deepseek R1-Modells für Datenbanken: eine Schritt-für-Schritt-Anleitung

Databricks, eine beliebte Daten -Engineering -Plattform, wird zunehmend für KI- und maschinelle Lernaufgaben verwendet. Dieses Tutorial führt Sie durch die Bereitstellung des Distributed Deepseek R1-Modells auf Datenbäumen, einem leistungsstarken Großsprachmodell, das häufig für die lokale Bereitstellung bevorzugt wird. Dadurch wird vermieden, Daten an externe Server zu senden. Für einen tieferen Eintauchen in die Funktionen und Vergleiche von Deepseek R1 siehe Deepseek-R1: Funktionen, Vergleich, destillierte Modelle und mehr Blog.

Dieser Handbuch deckt das Konto -Setup, die Modellregistrierung mit der Benutzeroberfläche und den Zugriff über die Playground- und Lokal -Curl -Befehle ab. Neu in Datenbäumen? Die Einführung in den Databricks -Kurs bietet einen umfassenden Überblick über die Datenbank -Lakehouse -Plattform und deren Datenverwaltungsfunktionen. Für ein tieferes Verständnis des Datenmanagements innerhalb von Databricks berücksichtigen Sie den Datenverwaltung im Datenbankkurs.

Registrieren Sie das Deepseek R1 -Modell

1. Starten Sie ein Notizbuch: Nach dem Erstellen Ihres Datenbeutelabschnitts klicken Sie auf "Neu" und wählen Sie ein Notizbuch.

2. Verpackungen installieren: Installieren Sie die erforderlichen Python -Bibliotheken:

%%capture
!pip install torch transformers mlflow accelerate torchvision
%restart_python

3. Lastmodell und Tokenizer: Laden Sie das Deepseek R1 -Modell und Tokenizer aus dem Umarmungsgesicht:

import pandas as pd
import mlflow
import mlflow.transformers
import torch
from mlflow.models.signature import infer_signature
from transformers import AutoModelForCausalLM, AutoTokenizer, AutoConfig, pipeline

model_name = "deepseek-ai/DeepSeek-R1-Distill-Llama-8B"
tokenizer = AutoTokenizer.from_pretrained(model_name)
config = AutoConfig.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, config=config, torch_dtype=torch.float16)

4. Testen Sie das Modell: Test mit einer Beispielaufforderung und generieren Sie eine Signatur für die Modellregistrierung:

text_generator = pipeline("text-generation", model=model, tokenizer=tokenizer)
example_prompt = "How does a computer work?"
example_inputs = pd.DataFrame({"inputs": [example_prompt]})
example_outputs = text_generator(example_prompt, max_length=200)
signature = infer_signature(example_inputs, example_outputs)
print(example_outputs)

erwartete Ausgabe (kann geringfügig variieren):

<code>[{'generated_text': "How does a computer work? What is the computer? What is the computer used for? What is the computer used for in real life?\n\nI need to answer this question, but I need to do it step by step. I need to start with the very basic level and build up from there. I need to make sure I understand each concept before moving on. I need to use a lot of examples to explain each idea. I need to write my thoughts as if I'm explaining them to someone else, but I need to make sure I understand how to structure the answer properly.\n\nOkay, let's start with the basic level. What is a computer? It's an electronic device, right? And it has a central processing unit (CPU) that does the processing. But I think the central processing unit is more efficient, so maybe it's the CPU. Then, it has memory and storage. I remember that memory is like RAM and storage is like ROM. But wait, I think"}]</code>

5. Conda -Umgebung: Definieren Sie eine Conda -Umgebung:

conda_env = {
    "name": "mlflow-env",
    "channels": ["defaults", "conda-forge"],
    "dependencies": [
        "python=3.11",
        "pip",
        {"pip": ["mlflow", "transformers", "accelerate", "torch", "torchvision"]}
    ]
}

6. Registrieren Sie das Modell: Registrieren Sie das Modell mit mlflow.transformers.log_model:

with mlflow.start_run() as run:
    mlflow.transformers.log_model(
        transformers_model=text_generator,
        artifact_path="deepseek_model",
        signature=signature,
        input_example=example_inputs,
        registered_model_name="deepseek_r1_llama_8b",
        conda_env=conda_env
    )

Bereitstellung von Deepseek R1

1. Navigieren Sie zu Modellen: im Databricks Dashboard gehen Sie zur Registerkarte "Modelle".

2. Servieren Sie das Modell: Wählen Sie Ihr Modell aus und klicken Sie auf "Diene dieses Modell."

3. Konfigurieren Sie den Endpunkt: Benennen Sie Ihren Endpunkt, wählen Sie die Optionen für die Rechenoptionen, klicken Sie auf "Parallelität" und klicken Sie auf "Erstellen".
.

Für die Feinabstimmung auf einem benutzerdefinierten Datensatz finden Sie im Fine-Tuning Deepseek R1-Tutorial.

Zugriff auf das bereitgestellte Modell

1. Datenbeberzeugplatz: Testen

2. curl Befehl: Generieren Sie einen Datenbanken -API -Schlüssel (Einstellungen & GT; Entwickler), setzen Sie ihn als Umgebungsvariable () und verwenden Sie Curl: $DATABRICKS_TOKEN

%%capture
!pip install torch transformers mlflow accelerate torchvision
%restart_python

Informationen zu Deepseek R1 gegen V3 finden Sie im Blog Deepseek R1 gegen V3. Neu bei LLMs? Die Einführung in LLMs im Python -Kurs ist ein guter Ausgangspunkt. Denken Sie daran, dass die CPU -Bereitstellung zwar möglich ist, möglicherweise langsamer.

Das obige ist der detaillierte Inhalt vonBereitstellung von Deepseek R1 in Datenbäumen: eine Schritt-für-Schritt-Anleitung. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!