fp8/int8量化计算中张量核心截断误差溢出表现为loss震荡、梯度爆炸、输出全零或nan且无cuda oom；需通过动态范围监控、钩子捕获溢出、区分权重/激活溢出、验证gpu架构支持、检查张量核心启用状态、分析权重/激活分布及预处理异常值来系统排查。
显卡在运行人工智能模型（FP8/INT8）量化计算时张量核心截断误差溢出，表现为loss剧烈震荡、梯度爆炸、输出全零或NaN、验证指标骤降5%以上，且不伴随CUDA OOM报错——这说明数值流已在硬件级被破坏，而非内存资源不足。
确认是否触发真实截断误差溢出
第一步：在PyTorch中启用FP8/INT8张量的动态范围监控。执行torch.cuda.amp.autocast(dtype=torch.float8_e4m3fn)后，立即插入：
from torch._inductor.utils import print_fx_graph → print_fx_graph(model, inputs) → 观察图中是否存在aten.fp8_cast节点后紧跟aten.clamp_min或aten.clamp_max操作，若有，说明编译器已检测到超出FP8表示范围的值并强制截断。
第二步：捕获溢出源头。在前向传播关键层（如Linear、QKV投影）后插入钩子：
def check_fp8_overflow(mod, inp, out): if hasattr(out, 'dtype') and out.dtype == torch.float8_e4m3fn: amax = out.abs().max().item() if amax > 448.0: # E4M3FN最大正数为448.0 print(f"[溢出] 输出绝对值达{amax:.2f} > 448.0")layer.register_forward_hook(check_fp8_overflow)
第三步：区分是权重溢出还是激活溢出。若钩子在nn.Linear.weight加载后即触发，说明权重初始化范围过大；若仅在nn.ReLU或nn.SiLU后触发，说明激活值动态范围失控——此时需检查归一化层是否被跳过或冻结。
排查GPU架构与FP8硬件支持匹配性
方法一：直接读取设备能力标识
运行nvidia-smi --query-gpu=name,compute_cap --format=csv，核对返回结果：
H100 → compute_cap=9.0 → 支持E4M3FN/E5M2全格式；RTX 4090 → compute_cap=8.9 → 仅支持E4M3FN（需固件≥535.86.01）；A100 → compute_cap=8.0 → 【无物理FP8单元，所有FP8操作均为CUDA Core模拟，截断误差天然放大】。
方法二：验证张量核心是否真正启用
执行nsys profile -t nvtx,cuda,nvml --gpu-metrics-device=0 -o fp8_trace ./train.py → 打开生成的.qdrep文件 → 在“GPU Metrics”视图中筛选fp8_tensor_core_utilization字段。若该值恒为0%，说明驱动或PyTorch未将算子路由至FP8 Tensor Core，而是回退至通用CUDA Core——此时所有“FP8”计算实际为模拟，截断行为不可控。
定位权重与激活的动态范围失配点
第一步：提取未量化权重的原始分布
对目标Linear层执行：W = layer.weight.data.float() → print(f"min={W.min():.4f}, max={W.max():.4f}, std={W.std():.4f}")。若max - min > 900，则远超FP8 E4M3FN的[-448, +448]区间，必然触发截断。
第二步：检查激活值缩放策略是否失效
若使用AWQ或SmoothQuant等PTQ方法，确认scale参数未被覆盖。常见错误：在模型加载后执行model.half()会抹除FP8专用scale缓存，导致后续反量化时用错缩放因子——【FP8量化模型禁止调用任何 .half() 或 .bfloat16() 方法】。
第三步：验证输入数据预处理是否引入异常值
对输入tensor执行inp = inputs[0].float() → print(inp.quantile(0.999).item(), inp.quantile(0.001).item())。若99.9%分位点 > 100，则图像归一化参数（如mean=0.5, std=0.25）未生效，原始像素值[0,255]直接送入FP8线性层，必然溢出。
