WSL2是Windows运行Grok大模型的唯一可行路径，需确保WSL2 v2启用、NVIDIA驱动与内核同步、模型存放于WSL本地路径、使用CUDA 12.1镜像并配置shm-size=2g等关键参数。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
在Windows上运行Grok这类高性能开源大模型，必须绕过Windows原生对CUDA和Linux内核模块的限制——WSL2是目前唯一能兼顾GPU直通、文件互通与开发体验的可行路径，但默认配置极易因驱动版本错配、挂载路径错误或IPC隔离导致服务启动失败甚至CUDA不可用。
确认WSL2已启用且为v2版本
以管理员身份打开PowerShell，执行：wsl -l -v。若列表中VERSION列显示为1或为空，说明仍为WSL1或未初始化成功。
立即执行 wsl --set-default-version 2 → 再运行 wsl --install -d Ubuntu-22.04 --web-download 强制拉取最新镜像。这一步跳过微软CDN缓存，避免因网络波动导致安装中断。
安装完成后务必重启电脑。不重启会导致/dev/dxg设备节点缺失，后续所有CUDA调用均会静默失败——【这是Grok启动时nvcc fatal错误最常见根源】。
Windows端驱动与WSL2内核同步校准
在Windows终端（非WSL）中运行 nvidia-smi，记录右上角显示的Driver Version（如535.98）。
进入WSL2终端，执行 cat /proc/version，确认内核版本 ≥ 5.15.133.1。若低于此值，需手动更新WSL2内核：从微软官方页面下载最新wsl_update_x64.msi并安装。
关键动作：在PowerShell中执行 wsl --update → wsl --shutdown → 重新启动Ubuntu终端。这三步缺一不可，否则新内核不会加载到当前会话。
挂载模型路径并规避/mnt/c性能陷阱
方法一：直接使用WSL2本地文件系统（推荐）
在WSL2中创建目录：mkdir -p ~/grok-models，将Grok模型（如grok-1.5完整文件夹）解压至此路径。该路径位于ext4虚拟磁盘内，I/O吞吐可达Windows NTFS的3倍以上。
方法二：挂载Windows路径（仅限调试）
先在Windows中将模型放在D:\grok\，再在WSL2中执行：sudo mkdir -p /mnt/d/grok && sudo mount -t drvfs D: /mnt/d。注意：每次WSL2重启后该挂载自动失效，需重新执行；且/mnt/c/路径绝对禁止用于模型加载——【其9p协议延迟会导致vLLM初始化超时并退出】。
启动Grok服务的最小可行命令
第一步：确保Docker Desktop已开启GPU支持
打开Docker Desktop → Settings → Resources → WSL Integration → 勾选Ubuntu-22.04 → Apply & Restart。
第二步：拉取兼容镜像
在WSL2终端中执行：docker pull vllm/vllm-openai:nightly-cu121。不要用:latest，Grok系列模型依赖CUDA 12.1特有算子，官方latest镜像可能仍基于cu118。
第三步：运行容器docker run --gpus all -v ~/grok-models/grok-1.5:/model -p 8000:8000 --ipc=host --shm-size=2g vllm/vllm-openai:nightly-cu121 --model /model --tensor-parallel-size 2 --dtype half
解释参数：
• --shm-size=2g 是硬性要求，Grok-1.5单层KV cache占用约1.4GB共享内存，不指定会导致OOM崩溃；
• --tensor-parallel-size 2 针对RTX 4090等双GPU卡优化，单卡用户可删去；
• --dtype half 必须显式声明，Grok权重默认为bfloat16，vLLM若自动推断为float32会触发显存溢出。
