正确做法是统一通过环境变量注入关键配置：设mistral_api_key认证、mistral_base_url自定义端点、llama_model_path指定模型路径、cuda_visible_devices限定gpu、llama_n_threads控制cpu线程，并用前缀隔离多模型变量。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
你需要在本地或服务器上运行Mistral AI模型，但每次启动都要硬编码API密钥、显卡编号、温度值等参数，既不安全又难复用——正确做法是统一通过环境变量注入关键配置，让命令行简洁、服务启动稳定、多环境切换零修改。
基础API密钥与服务地址配置
第一步：设置MISTRAL_API_KEY环境变量
Linux/macOS执行：export MISTRAL_API_KEY="sk-xxx"；Windows PowerShell执行：$env:MISTRAL_API_KEY="sk-xxx"。
这一步必须在运行任何Mistral客户端前完成，否则会报错AuthenticationError: No API key provided。
第二步：覆盖默认API端点（仅限自托管场景）
若你部署了私有Mistral推理服务（如使用llama.cpp或text-generation-inference），需同时设置：export MISTRAL_BASE_URL="http://localhost:8080/v1"。
【MISTRAL_BASE_URL必须带/v1后缀，缺则触发404】
本地推理模型路径与设备绑定
方法一：指定GGUF模型文件路径（llama.cpp场景）
设置LLAMA_MODEL_PATH指向本地.gguf文件，例如：export LLAMA_MODEL_PATH="$HOME/mistral_models/mistral-7b-instruct-v0.3.Q4_K_M.gguf"。
该变量被llama-cli自动读取，无需再在命令中重复写-m参数。
方法二：强制GPU设备编号（CUDA多卡机器）
使用CUDA_VISIBLE_DEVICES=1限定只用编号为1的GPU，避免与其他进程争抢显存。
注意：此变量对llama.cpp无效，仅作用于PyTorch/TensorFlow后端的Python推理脚本。
方法三：CPU线程数控制（无GPU时必设）
添加LLAMA_N_THREADS=8可显著提升CPU推理速度，值建议设为物理核心数；未设置时默认仅用1线程，响应延迟翻倍以上。
推理行为参数批量注入
① 设置通用采样参数
将常用组合固化为环境变量：export MISTRAL_TEMPERATURE="0.7" MISTRAL_TOP_P="0.9" MISTRAL_MAX_TOKENS="512"。
支持多个变量在同一行用空格分隔，shell会自动解析为独立变量。
② 启动时自动加载这些参数
以Python调用为例：在脚本开头插入import os; from mistral_inference.generate import generate; generate(..., temperature=float(os.getenv("MISTRAL_TEMPERATURE", "0.7")))。
这样不用改代码就能切不同风格输出——比如测试时设MISTRAL_TEMPERATURE="0.1"，演示时切回"0.8"。
③ 避免敏感参数泄露到日志
【禁止将MISTRAL_API_KEY写入.bash_history或shell脚本文件】，应只在当前终端session中export，或用systemd --environment="MISTRAL_API_KEY=xxx"方式传入守护进程。
多模型共存隔离配置
场景：同一台机器同时跑Mistral 7B和Mixtral 8x22B，需防止参数串扰
创建两组独立变量前缀：
7B专用：export MISTRAL7B_MODEL_PATH="$HOME/mistral_models/7B_instruct/" MISTRAL7B_NUM_GPUS=1
8x22B专用：export MIXTRAL8X22B_MODEL_PATH="$HOME/mistral_models/8x22B_instruct/" MIXTRAL8X22B_NUM_GPUS=2
对应启动脚本中分别读取各自前缀变量，彻底解耦。若混用MISTRAL_MODEL_PATH全局变量，会导致8x22B误加载7B权重而崩溃。
