本地大模型监控_Grafana显存温度面板-人工智能-PHP中文网

若无法实时掌握GPU显存占用与核心温度，需构建Grafana监控面板；可选路径包括：一、nvidia-gpu-exporter+Prometheus+Grafana标准链路；二、dcgm-exporter替代方案（适配Ampere及更新架构）；三、轻量级脚本+Pushgateway（免Prometheus集群）；四、集成至大模型服务自身HTTP接口（零额外组件）。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

如果您已部署本地大模型服务，但无法实时掌握gpu显存占用、核心温度等关键运行状态，则可能是由于缺乏统一的指标采集与可视化通道。以下是为本地大模型构建grafana显存/温度监控面板的多种实施路径：

一、使用nvidia-gpu-exporter + Prometheus + Grafana标准链路

该方法通过NVIDIA官方兼容的exporter暴露GPU硬件指标，由Prometheus拉取并持久化，再由Grafana按需渲染图表，具备高精度、低侵入、可长期回溯的特点。

1、在宿主机或Docker环境中拉取并运行nvidia-gpu-exporter容器，确保其能访问/dev/nvidia0等设备节点及nvidia-smi二进制文件。

2、配置Prometheus的scrape_configs，添加target指向exporter暴露的HTTP端点（默认9101），设置抓取间隔为15秒。

3、启动Grafana服务，添加Prometheus为数据源，URL填写http://prometheus-host:9090。

4、导入社区GPU监控模板ID（如12107或18608），或手动创建Panel，使用PromQL查询：nvidia_gpu_duty_cycle{job="gpu-exporter"}表示利用率，nvidia_gpu_memory_used_bytes{job="gpu-exporter"}表示已用显存，nvidia_gpu_temperature_celsius{job="gpu-exporter"}表示核心温度。

二、基于dcgm-exporter替代方案（适用于Ampere及更新架构）

当使用RTX 4090、A100或H100等支持DCGM的GPU时，nvidia-dcgm-exporter提供更底层、更稳定的指标，包括显存带宽、ECC错误、XID事件等，且对多卡拓扑识别更准确。

1、安装NVIDIA Data Center GPU Manager（DCGM）工具包，并启用dcgm-exporter服务。

2、确认dcgm-exporter监听端口（默认9400），并验证curl http://localhost:9400/metrics可返回文本格式指标。

3、修改Prometheus配置，将job名称设为"dcgm"，target指向http://host:9400/metrics。

4、在Grafana中新建Dashboard，添加折线图Panel，查询表达式使用：dcgm_gpu_temp{gpu_type=~".*"} 获取各卡温度，dcgm_fb_used{gpu_type=~".*"} 获取帧缓冲显存用量。

三、轻量级单机脚本+Pushgateway方式（无Prometheus集群场景）

适用于仅有一台开发机、不希望维护Prometheus服务的用户。通过Python或Bash定时执行nvidia-smi，将结果推送到Pushgateway，再由Grafana从Pushgateway拉取最新快照。

大模型Token成本节约

大模型 Token 成本节约工具。在请求到达大模型之前自动压缩 prompt 和上下文，减少 60-95% 的 token 消耗，直接降低 API 成本。支持 Claude/OpenAI/Gemini 等主流模型，提供代理模式、CLI 包装、Python SDK 和 MCP Server 四种接入方式。内置一键安...

下载

1、部署Pushgateway服务（docker run -d -p 9091:9091 prom/pushgateway）。

2、编写shell脚本，每30秒调用nvidia-smi --query-gpu=temperature.gpu,utilization.gpu,memory.used --format=csv,noheader,nounits，解析后构造指标字符串并curl POST至http://pushgateway:9091/metrics/job/gpu_monitor。

3、在Prometheus中配置static_configs指向Pushgateway地址，job为gpu_monitor。

4、Grafana中配置对应数据源后，使用查询：max by(instance) (gpu_temperature_celsius{job="gpu_monitor"})显示最高温度，sum by(instance) (gpu_memory_used_bytes{job="gpu_monitor"})汇总显存用量。