本地部署deepseek模型需依次完成硬件验证、conda环境配置、模型下载、及三种部署方式选择：transformers（调试用）、vllm（高并发api）、llama.cpp（cpu/量化）。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
如果您希望在本地计算机上运行DeepSeek模型，但缺乏相关部署经验，则可能是由于环境配置复杂、依赖项众多或硬件要求不明确导致进展受阻。以下是完成本地部署的详细步骤：
一、确认硬件与系统基础要求
DeepSeek系列模型（如DeepSeek-V2、DeepSeek-Coder）对计算资源有明确门槛，需提前验证设备是否满足最低运行条件。GPU显存不足将直接导致加载失败，CPU模式仅适用于极小规模推理且速度极慢。
1、检查显卡型号及驱动版本：在终端执行 nvidia-smi，确认CUDA兼容性与可用显存容量。
2、确保系统为Ubuntu 22.04/20.04、CentOS 8+ 或 Windows WSL2（推荐Ubuntu子系统），macOS仅支持CPU推理且限于DeepSeek-7B以下量化版本。
3、预留至少32GB可用磁盘空间，模型权重文件解压后占用约15–25GB，缓存与临时文件另需额外空间。
二、安装Python环境与核心依赖
统一使用conda创建隔离环境可避免系统级包冲突，且便于后续版本回滚。Python版本必须严格限定在3.10–3.11区间，过高或过低均会导致transformers或vLLM库编译失败。
1、下载并安装Miniconda3（Linux/macOS执行 bash Miniconda3-latest-Linux-x86_64.sh；Windows下载图形化安装包）。
2、新建环境：执行 conda create -n deepseek-env python=3.10，随后激活：conda activate deepseek-env。
3、升级pip并安装基础工具：python -m pip install --upgrade pip wheel setuptools。
三、选择并获取DeepSeek模型权重
DeepSeek官方未开放全部模型的完整权重下载，需通过Hugging Face Hub获取已授权发布的版本。注意区分模型类型（Coder、V2、R1）及格式（GGUF、Safetensors、HuggingFace Transformers原生格式）。
1、访问Hugging Face官网搜索 deepseek-ai/deepseek-coder-6.7b-base 或 deepseek-ai/deepseek-v2-lite，点击“Files and versions”标签页。
2、下载 model.safetensors（主权重）、config.json、tokenizer.json 及 tokenizer_config.json 四个必要文件。
3、新建本地目录 /models/deepseek-coder-6.7b，将上述文件全部放入该路径。
统一LLM网关 - 一个API对接70+AI模型，使用单一API密钥即可调用GPT、Claude、Gemini、Qwen、Deepseek、Grok等主流模型。
四、部署方式一：使用Transformers + AutoModelForCausalLM（标准PyTorch推理）
此方式无需额外编译，适合调试与小批量生成，支持FP16与BF16精度加载，但显存占用高、吞吐量较低。
1、安装transformers与accelerate：pip install transformers accelerate torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121（CUDA 12.1用户）。
2、创建Python脚本 infer_transformers.py，写入初始化代码：
3、在脚本中调用：model = AutoModelForCausalLM.from_pretrained("/models/deepseek-coder-6.7b", torch_dtype=torch.float16, device_map="auto")。
4、加载分词器：tokenizer = AutoTokenizer.from_pretrained("/models/deepseek-coder-6.7b")，随后执行输入编码与生成。
五、部署方式二：使用vLLM进行高性能服务化部署
vLLM通过PagedAttention优化KV缓存管理，显著提升并发请求处理能力与显存利用率，适用于构建API服务，但需CUDA环境且不支持Windows原生部署。
1、安装vLLM：pip install vllm（自动匹配CUDA版本）；若报错，改用源码编译：pip install git+https://github.com/vllm-project/vllm.git。
2、启动API服务器：python -m vllm.entrypoints.api_server --model /models/deepseek-coder-6.7b --tensor-parallel-size 1 --dtype half --gpu-memory-utilization 0.9。
3、发送curl请求测试：curl http://localhost:8000/generate -d '{"prompt":"def hello():","max_tokens":50}' -H "Content-Type: application/json"。
六、部署方式三：使用llama.cpp运行量化版GGUF模型（CPU/低端GPU友好）
该方案将模型转换为GGUF格式并进行4-bit量化，可在无NVIDIA GPU的设备（如Mac M1/M2、Intel i7笔记本）上运行，牺牲部分精度换取可运行性。
1、克隆llama.cpp仓库：git clone https://github.com/ggerganov/llama.cpp && cd llama.cpp && make clean && make -j。
2、下载对应GGUF权重（如 deepseek-coder-6.7b-instruct.Q4_K_M.gguf）至 llama.cpp/models/ 目录。
3、执行推理：./main -m models/deepseek-coder-6.7b-instruct.Q4_K_M.gguf -p "Write a Python function to reverse a string" -n 128 -t 4。
