是，TensorRT从8.6版本起支持FP8（E4M3/E5M2）推理，但仅限Ada Lovelace及更新架构GPU（如RTX 4090、L40、H100），A100/V100等旧卡因硬件不兼容而报错“Unsupported data type: kFP8”。
FP8 混合精度在 TensorRT 中是否可用？
TensorRT 从 8.6 版本起正式支持 FP8（E4M3/E5M2）推理，但仅限于 Ada Lovelace 架构及更新的 GPU（如 RTX 4090、L40、H100），旧卡（A100/V100/Ampere）不支持。调用 builderConfig->setFlag(BuilderFlag::kFP8) 会直接失败并报错 Unsupported data type: kFP8，不是配置问题，是硬件不兼容。
启用 FP8 的 C++ 关键步骤和易错点
FP8 不是“开个 flag 就行”，它依赖校准 + 显式层精度控制 + 新版 API 配合：
- 必须使用
INetworkDefinition::addInput显式声明输入为DataType::kFP8，不能靠自动推导 - 校准必须用
Int8EntropyCalibrator2或EntropyCalibrator2的变体，但传入的校准数据需先转换为 FP8 范围（std::clamp(x, -48.f, 48.f)），否则动态范围失真 - 逐层设置精度要用
ILayer::setPrecision(DataType::kFP8)，不能只设全局 flag；尤其注意 Softmax、LayerNorm 等对数值敏感的层，建议保留kFP16 -
trtexec工具暂不支持--fp8参数，必须手写 C++ 构建逻辑，否则无法生成 FP8 engine
FP8 和 INT8 混合使用的实际效果与风险
FP8 在吞吐上比 INT8 高约 10–15%，但精度更脆弱——尤其当模型含大量小数值激活（如 Transformer 的 attention score）时，E4M3 的 3-bit 尾数容易引入截断误差。实测中常见问题包括：
- 输出 softmax 分布尖锐度下降，top-1 准确率跌 0.3–0.8%（ResNet-50 ImageNet）
- 校准表路径必须用
setInt8Calibrator注册，即使你主用 FP8；TensorRT 内部仍借其统计逻辑做动态范围估计 - FP8 权重加载后，
IEngine::getBindingDataType返回kFP8，但 CUDA kernel 启动前需确保显存已按uint8_t*对齐分配，否则触发CUDA_ERROR_INVALID_VALUE
验证 FP8 engine 是否真正生效
光看构建不报错没用，得确认 runtime 真跑在 FP8 上：
- 调用
IEngine::getBindingDataType(bindingIndex)，输出应为DataType::kFP8，不是kFP16 - 用
nvidia-smi dmon -s u观察 GPU 利用率曲线，FP8 下 tensor core 利用率通常比 FP16 高 8–12%，且显存带宽占用下降超 40% - 打印
IEngine::getNbLayers()后遍历每层，用ILayer::getPrecision()检查关键层是否按预期设为kFP8；若全为kFP16，说明setPrecision调用被忽略（常见于 layer 创建后未立即设置）
FP8 的收益高度依赖模型结构和数据分布，不是所有层都适合切过去。最稳妥的做法是：先用 FP16 做 baseline，再对 Conv/Linear 类型层批量设为 FP8，保留归一化、激活函数等层为 FP16，最后用真实 batch 数据做端到端输出 diff 检查。
C++免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 C++ 的入门与实战技巧！
