应选用rtx 4090单卡（≥16gb）运行mistral 7b、双a100（≥80gb总显存）运行mixtral 8x22b，python限定3.9.10–3.11.x、cuda锁定12.1/12.2，通过pip install mistral-inference==1.5.2 --no-deps隔离依赖，分目录下载校验模型，用cuda_visible_devices和--num_gpus显式指定多卡，并采用进程级或容器化方式隔离双模型运行。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
你需要在同一台机器上部署Mistral 7B和Mixtral 8x22B两个模型，用于对比测试响应质量与推理延迟，但不清楚该选什么硬件、装哪个库、怎么避免版本冲突——本指南直接给出可复现的安装路径与隔离配置方案。
确认硬件与系统前提
先检查GPU显存是否达标：7B需单卡≥16GB（如RTX 4090），8x22B必须双卡≥80GB（如2×A100 40GB或2×A100 80GB）。【不满足此条件强行运行8x22B会导致CUDA out of memory且无法回退】
Python必须为3.9.10～3.11.x区间版本；CUDA版本锁定为12.1或12.2——CUDA 12.3及以上会触发xformers编译失败。
执行命令验证：nvidia-smi → 查看GPU型号与显存；python --version → 确认Python小版本；nvcc --version → 核对CUDA主版本号。
安装Mistral官方推理库（统一底座）
方法一：PyPI一键安装（推荐，适配7B与8x22B共存）
pip install mistral-inference==1.5.2 --no-deps
这一步跳过依赖自动安装，防止与后续手动指定的bitsandbytes版本冲突。
方法二：源码安装（需定制路由逻辑或调试MoE层）
git clone https://gitcode.com/gh_mirrors/mi/mistral-inference && cd mistral-inference && git checkout v1.5.2 && poetry install .
【务必使用v1.5.2标签，v1.6.0已移除对8x22B的num_experts_per_tok=2硬编码支持】
下载并校验两个模型文件
第一步：创建独立模型目录
mkdir -p $HOME/mistral_models/7B_instruct $HOME/mistral_models/8x22B_instruct
第二步：下载7B模型（轻量、快速验证）
cd $HOME/mistral_models/7B_instruct && wget https://models.mistralcdn.com/mistral-7b-v0-3/mistral-7B-Instruct-v0.3.tar && tar -xf mistral-7B-Instruct-v0.3.tar
第三步：下载8x22B模型（大体积、需校验）
cd $HOME/mistral_models/8x22B_instruct && wget https://huggingface.co/mistral-community/Mixtral-8x22B-v0.1/resolve/main/model.safetensors.index.json && wget -i model.safetensors.index.json -P .
执行后会下载约127个分片文件，总大小约142GB。
第四步：校验完整性（关键！8x22B分片缺一个将导致加载时静默失败）
python -c "import safetensors; from safetensors.torch import load_file; load_file('./model-00001-of-00127.safetensors')"
配置环境变量与启动参数
导出模型路径变量：
export MISTRAL_7B=$HOME/mistral_models/7B_instruct
export MISTRAL_8X22B=$HOME/mistral_models/8x22B_instruct
运行7B模型（单卡默认）：
mistral-chat $MISTRAL_7B --instruct
运行8x22B模型（必须显式声明多卡）：
CUDA_VISIBLE_DEVICES=0,1 mistral-chat $MISTRAL_8X22B --instruct --num_gpus 2 --gpu_memory_utilization 0.95
注意：--gpu_memory_utilization 0.95不可省略，否则在A100 80GB上会因预留不足触发OOM。
Python中调用双模型的隔离写法
方法一：进程级隔离（最稳，避免CUDA上下文污染）
用subprocess.Popen分别启动两个mistral-chat进程，通过stdin/stdout通信。适合压测场景。
方法二：Python内隔离（需严格控制device_map）
from mistral_inference.model import Transformer
model_7b = Transformer.from_folder($MISTRAL_7B, device='cuda:0')
model_8x22b = Transformer.from_folder($MISTRAL_8X22B, device='cuda:0', num_gpus=2)
⚠️ 这里device='cuda:0'是占位符，实际由num_gpus=2触发跨卡张量并行，若写成device='cuda:1'会报错。
方法三：容器化隔离（生产推荐）
docker run -it --gpus '"device=0,1"' -v $HOME/mistral_models:/models mistralai/mistral-inference:1.5.2 mistral-chat /models/8x22B_instruct --instruct
