Databricks에 DeepSeek R1 배포 : 단계별 안내서

Databricks에 DeepSeek R1 모델 배포 : 단계별 가이드 인기있는 데이터 엔지니어링 플랫폼 인 Databricks는 AI 및 기계 학습 작업에 점점 더 많이 사용되고 있습니다. 이 튜토리얼은 온 프레미스 배포에 종종 선호되는 강력한 대형 언어 모델 인 Databricks에 분산 된 DeepSeek R1 모델을 배포하여 안내합니다. 이렇게하면 데이터를 외부 서버로 전송하지 않습니다. DeepSeek R1의 기능 및 비교에 대한 더 깊은 다이빙은 DeepSeek-R1 : 기능, 비교, 증류 모델 및 기타 블로그를 참조하십시오. 이 안내서는 계정 설정, UI를 사용한 모델 등록 및 놀이터 및 로컬 컬 명령을 통한 액세스를 다룹니다. Databricks를 처음 접했습니까? Databricks 코스 소개는 Databricks Lakehouse 플랫폼 및 데이터 관리 기능에 대한 포괄적 인 개요를 제공합니다. Databricks 내 데이터 관리에 대한 더 깊은 이해를 위해서는 Databricks 과정에서 데이터 관리를 고려하십시오. DeepSeek R1 모델 등록

노트북 출시 :

Databricks Workspace를 작성한 후 "New"를 클릭하고 노트북을 선택하십시오.

패키지 설치 :

필요한 파이썬 라이브러리 설치 :

1. 로드 모델 및 토큰 화기 : 딥 즈 r1 모델과 포옹 얼굴에서 토큰 화기를로드하십시오 :

모델 테스트 : 샘플 프롬프트로 테스트하고 모델 등록 서명을 생성하십시오.

2. 예상 출력 (약간 다를 수 있음) :
콘다 환경 :

콘다 환경 정의 :

%%capture
!pip install torch transformers mlflow accelerate torchvision
%restart_python

3. 모델 등록 : : 를 사용하여 모델을 등록하십시오

import pandas as pd
import mlflow
import mlflow.transformers
import torch
from mlflow.models.signature import infer_signature
from transformers import AutoModelForCausalLM, AutoTokenizer, AutoConfig, pipeline

model_name = "deepseek-ai/DeepSeek-R1-Distill-Llama-8B"
tokenizer = AutoTokenizer.from_pretrained(model_name)
config = AutoConfig.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, config=config, torch_dtype=torch.float16)

DeepSeek R1 배포

모델로 이동하십시오 :
4. Databricks 대시 보드에서 "모델"탭으로 이동하십시오. 모델 제공 : 모델을 선택하고 "이 모델을 제공하십시오."를 클릭하십시오.

text_generator = pipeline("text-generation", model=model, tokenizer=tokenizer)
example_prompt = "How does a computer work?"
example_inputs = pd.DataFrame({"inputs": [example_prompt]})
example_outputs = text_generator(example_prompt, max_length=200)
signature = infer_signature(example_inputs, example_outputs)
print(example_outputs)

3. 엔드 포인트 구성 : 엔드 포인트 이름을 지정하고, 옵션 계산을 선택하고, 동시성을 설정하고, "create"를 클릭하십시오.

사용자 정의 데이터 세트에서 미세 조정하려면 미세 조정 DeepSeek R1 튜토리얼을 참조하십시오.

배포 된 모델에 액세스

Databricks Playground :

Databricks Playground에서 직접 테스트하십시오

CURL COMMANT :

Databricks API 키 (설정 및 GT; 개발자)를 생성하고 환경 변수로 설정하고 CURL을 사용합니다 :

DeepSeek R1 vs. V3에 대한 정보는 DeepSeek R1 vs V3 블로그를 참조하십시오. LLMS에 새로? Python 코스에서 LLM에 대한 소개는 좋은 출발점입니다. CPU 배포가 가능하지만 느리게 될 수 있습니다.

위 내용은 Databricks에 DeepSeek R1 배포 : 단계별 안내서의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!