C++ 怎么使用 DirectML 在 Windows 平台上借助显卡加速机器学习推理-C++-PHP中文网

directml 不提供高阶c++封装库，其原生c++/nano-com接口需手动管理资源、命令队列与算子图，复杂度近似渲染器开发；官方明确将其定位为引擎/中间件级低层api，工业级推荐路径是onnx runtime + directml execution provider，实现零代码修改的gpu加速推理。

c++ 怎么使用 directml 在 windows 平台上借助显卡加速机器学习推理

DirectML 本身不提供 C++ 高阶封装库供直接调用（比如 torch::directml 那种抽象），它是一个原生 C++ / nano-COM 接口的底层 API，必须手动管理资源、命令队列、内存绑定和算子图构建——对绝大多数项目来说，这不是首选路径。

为什么不该直接写 DirectML C++ 代码

DirectML 的 C++ 接口是 DirectX 12 风格的：你需要显式创建 IDMLDevice、IDMLCommandQueue、IDMLTensor、IDMLOperator，还要手写 descriptor heap、resource barriers、command list recording……这些和写一个渲染器几乎一样复杂。微软官方文档也明确指出：“DirectML 是为引擎/中间件开发者设计的低级别抽象”，不是给业务模型推理用的。

常见错误现象包括：

E_INVALIDARG 或 E_OUTOFMEMORY 报错，往往源于 tensor 描述符（DML_TENSOR_DESC）中 layout、data type、strides 填写不匹配 GPU 硬件约束
推理结果全为 0 或 NaN，通常是 memory barrier 漏写或 command list 没正确 close/execute
性能反而比 CPU 差，因为没启用 FP16 运算（DML_TENSOR_DATA_TYPE_FLOAT16）或没做算子融合（DirectML 不自动 fusion，得自己拼 IDMLOperatorKernel）

正确做法：用 ONNX Runtime + DirectML Execution Provider

这才是 Windows 上 C++ 项目接入显卡加速推理的工业级标准路径。ONNX Runtime 将 DirectML 封装为一个可插拔后端（Execution Provider），你只需初始化 session 时指定它，其余逻辑和 CPU 推理完全一致。

windows-shell

Windows 命令行编码与兼容规范。涵盖 GBK/UTF-8 编码、PowerShell/pwsh 互操作、Python/Node.js、Git 配置及代码生成规则。适用于 Windows 10/11 + MSYS2/Git Bash 环境下的所有命令行操作。

下载

使用场景：

已训练好 PyTorch/TensorFlow 模型，并导出为 model.onnx
目标设备是 Intel 核显（Iris Xe）、AMD Radeon（RX 6000+）、或 NVIDIA 显卡（GTX 10xx 起），且系统已安装最新驱动
Windows 10 版本 1903+ 或 Windows 11（DirectML EP 在 ONNX Runtime 1.15+ 中稳定支持）

关键步骤：

安装 ONNX Runtime for Windows（推荐使用预编译二进制包，而非源码编译）：下载 onnxruntime-win-x64-*.zip，解压后取 onnxruntime/lib/onnxruntime.lib 和 include/ 目录
链接时添加 onnxruntime.lib，运行时确保 onnxruntime.dll 在 PATH 或可执行目录下

初始化 session 时启用 DirectML EP：

Ort::SessionOptions session_options;
session_options.AppendExecutionProvider_DML(0); // 0 表示默认 GPU
Ort::Session session(env, L"model.onnx", session_options);

无需修改输入/输出张量构造、Run() 调用方式——和 CPU 模式代码 100% 兼容

容易被忽略的兼容性细节

DirectML EP 并非“开箱即用”：

ONNX 模型必须满足 opset_version >= 12，低于此版本的算子（如旧版 Resize）可能 fallback 到 CPU
某些算子在 DirectML 中仅支持特定 data type，例如 Softmax 在 FP16 下可能未优化，需在导出 ONNX 时强制设为 float32
Windows SDK 版本必须 ≥ 10.0.18362.0（对应 Windows 10 1903），否则 AppendExecutionProvider_DML 会静默失败
如果你用的是 WSL2，DirectML EP 不可用——它只工作在原生 Windows 子系统，WSL2 GPU 加速需走 CUDA 或 ROCm

真正需要手写 DirectML C++ 的情况极少：比如你在开发一个游戏引擎，想把超分/去噪算子嵌入渲染管线；或者你在做 WinML 的底层适配。对绝大多数推理应用，绕过 ONNX Runtime 直接调 DirectML，就像为了跑个 Hello World 去手写 bootloader —— 技术上可行，但代价远超收益。

C++免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 C++ 的入门与实战技巧！