若本地运行codegeex遇环境冲突、cuda不匹配或权重加载失败，应依次采用：一、docker沙箱隔离运行；二、requirements.txt一键部署；三、单gpu最小推理；四、int8量化降显存；五、vscode插件云端调用。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
如果您希望在本地快速搭建并运行CodeGeeX深度学习模型，但面临环境依赖冲突、CUDA版本不匹配或模型权重加载失败等问题，则可能是由于基础框架与硬件驱动协同异常或配置路径未正确指向。以下是解决此问题的步骤：
一、使用PyTorch-CUDA官方Docker镜像启动沙箱环境
该方法绕过宿主机Python环境干扰，直接复用预编译、版本对齐的PyTorch+cuDNN+GPU驱动栈，确保推理链路零兼容性风险。容器内已预装NumPy、Pandas等科学计算依赖，无需额外安装。
1、拉取适配当前GPU架构的镜像，例如NVIDIA A100/RTX 3090用户执行：docker pull pytorch/pytorch:2.1.0-cuda11.8-cudnn8-runtime
2、挂载本地CodeGeeX项目目录并启动交互式容器：docker run --gpus all -it --rm -v $(pwd)/codegeex:/workspace/codegeex pytorch/pytorch:2.1.0-cuda11.8-cudnn8-runtime /bin/bash
3、进入容器后验证GPU识别状态：python -c "import torch; print(torch.cuda.is_available(), torch.cuda.get_device_name(0))"
二、基于requirements.txt一键部署本地Python环境
该方法适用于已有稳定CUDA驱动且需复用现有conda/virtualenv的场景。通过官方定义的依赖约束文件，强制统一PyTorch、Transformers与DeepSpeed三者ABI版本，避免手动pip install引发的隐式冲突。
1、确认系统已安装Python 3.7+及CUDA 11+驱动，执行：nvidia-smi 查看CUDA版本
2、克隆项目并进入根目录：git clone https://gitcode.com/gh_mirrors/co/CodeGeeX.git && cd CodeGeeX
3、创建隔离环境并安装全量依赖：pip install -r requirements.txt
4、检查关键组件版本一致性：python -c "import torch, transformers, deepspeed; print(torch.__version__, transformers.__version__, deepspeed.__version__)"
三、加载模型权重并执行单GPU推理
该步骤聚焦于最小可行推理路径，跳过分布式初始化开销，适用于显存≥27GB的单卡设备（如A100-40G）。脚本自动读取configs/codegeex_13b.sh中指定的MODEL_PATH，完成模型参数映射与tokenizer加载。
1、将解压后的权重目录路径写入配置文件：echo 'MODEL_PATH="/path/to/codegeex_13b"' >> configs/codegeex_13b.sh
2、准备测试提示词，保存为tests/test_prompt.txt，内容示例：#用Python实现快速排序算法 def quicksort(arr):
CodeGeeX 2.21.0是智谱AI推出的AI编程助手版本，对Inline Chat功能进行了重大优化，包括UI设计升级、支持流式输出以提升响应速度，并新增“查看思路”按钮以便理解代码原理。同时，该版本在编辑器中新增CodeLens控件，支持一键“解释”代码或“添加注释”。目前该工具对个人开发者免费开放。
3、调用推理脚本并绑定GPU 0：bash ./scripts/test_inference.sh 0 ./tests/test_prompt.txt
4、观察终端输出是否包含生成代码块，成功标志为无RuntimeError且输出token数达--out-seq-length设定值
四、启用量化推理降低显存占用
该方案将模型权重从FP16转为INT8精度，在保持逻辑正确性的前提下，使13B模型可在15GB显存设备（如RTX 4090）上运行。量化过程由scripts/quantize_model.sh调用HuggingFace Optimum模块完成，不修改原始模型结构。
1、确认已安装optimum库：pip install optimum[onnxruntime-gpu]
2、执行量化脚本并指定输出路径：bash ./scripts/quantize_model.sh /path/to/codegeex_13b /path/to/quantized_codegeex_13b
3、修改configs/codegeex_13b.sh中的MODEL_PATH为量化后路径
4、使用相同推理命令启动：bash ./scripts/test_inference.sh 0 ./tests/test_prompt.txt
五、通过VSCode插件实现零配置代码补全
该方式完全脱离命令行与本地模型部署，利用CodeGeeX官方VSCode插件连接云端轻量API服务，仅需网络可达即可启用多语言补全、注释生成与跨语言翻译功能，适合开发机无GPU或权限受限环境。
1、打开VSCode扩展市场，搜索并安装CodeGeeX插件
2、重启VSCode后，在任意支持语言的编辑器中输入代码片段，触发自动补全
3、右键选中代码块，选择“CodeGeeX: Add Comment”生成中文注释
4、高亮JavaScript函数，执行“CodeGeeX: Translate to Python”完成语言转换
