需通过torch::autograd::function封装cuda kernel并用torch.utils.cpp_extension.load编译加载，严格校验输入、管理cuda流、确保内存连续与设备一致，forward/backward须分离实现且梯度维度对齐。
怎么让 PyTorch 调用你写的 CUDA 函数
PyTorch 自定义 CUDA 算子不是“写个 .cu 文件就行”，核心在于用 torch::jit::Operator 或 torch::autograd::Function 将 CUDA kernel 封装成可被 Python 调用的 C++ 接口，并通过 torch.utils.cpp_extension.load 编译加载。没走通这三步，函数写得再快也进不了模型。
实操建议：
- 必须用
AT_ASSERTM（而非assert）做输入校验，否则在 release 模式下会静默失败 - CUDA kernel 的 launch 参数（如
grid/block）别硬编码，用at::cuda::getCurrentCUDAStream()获取当前流，避免同步阻塞 - 输入 tensor 必须调用
.contiguous()和.cuda()显式确保内存布局和设备一致，tensor.data_ptr<float>()</float>前不检查容易触发RuntimeError: expected a CPU tensor
为什么 forward 和 backward 要拆成两个独立 kernel
PyTorch 的 autograd 引擎不会自动反向传播 CUDA kernel——它只认 torch::autograd::Function 的 forward 和 backward 方法。你写的 CUDA 函数只是普通 C 函数，不接入 autograd 图就等于没有梯度。
实操建议：
- 不要试图在单个 kernel 里算完前向+反向，forward 返回中间变量（比如 input、weight、临时 buffer），backward 通过
ctx->saved_variables取回它们 - backward kernel 的输入梯度（如
d_output）和输出梯度（如d_input）维度要严格对齐，shape 不匹配时错误信息是Expected object of scalar type Float but got scalar type Double，其实只是 view 失败了 - 如果 kernel 用到了 cuBLAS/cuDNN，记得在
backward中也调对应反向接口（比如cublasSgemm→cublasSgemm的转置变体），不能复用 forward 的 call
编译时报错 “undefined symbol: _ZN3c104cuda17getCurrentCUDAStreamEv” 怎么办
这是链接时找不到 PyTorch 的 CUDA 运行时符号，本质是 C++ 编译器没正确链接 libtorch_cuda.so 或头文件路径混乱。常见于手动写 CMakeLists.txt 或混用 conda + system CUDA。
组合式C++代码评审方案，融合静态分析、AI推理、多轮迭代评审和C++专项检查，适用于PR审查、增量代码审查、全项目评审和代码质量评分，触发词包括review cpp、cpp代码评审、C++review、代码审查。
实操建议：
- 优先用
torch.utils.cpp_extension.load，它会自动注入include_dirs和library_dirs；手写 CMake 时必须显式 add${TORCH_LIBRARIES}并 linktorch_cuda、cudart、c10_cuda - 确认
nvcc版本与 PyTorch 构建时用的一致（查torch.__version__对应的torch.version.cuda），比如 PyTorch 2.3 默认用 CUDA 12.1，但系统装了 12.4，就可能符号不兼容 - Linux 下运行时报
libgomp.so.1: version `GOMP_4.0' not found，说明 GCC runtime 版本太低，用conda install -c conda-forge gcc升级或设LD_LIBRARY_PATH
如何验证自定义 op 真正在 GPU 上跑、且没隐式同步
很多 op 表面调用了 CUDA，实际因 host-device 拷贝或 stream 同步卡在 CPU，性能反而比原生算子差。关键看是否真异步、是否零拷贝。
实操建议：
- 用
nvidia-smi dmon -s u观察 GPU 利用率，如果长期低于 10%，大概率有隐式同步；用nsys profile --trace=cuda,nvtx python test.py查 kernel launch 间隔 - 在 kernel 开头加
cudaEventRecord(start, 0)，结尾加cudaEventRecord(stop, 0)，用cudaEventElapsedTime测纯 kernel 时间，排除 memcpy 开销 - 检查 tensor 是否用了
.to("cuda", non_blocking=True)和.pin_memory()，否则tensor.cuda()会触发同步拷贝
最易被忽略的是：自定义 op 的输入 tensor 如果来自 CPU 数据（比如 torch.tensor([...])），即使后续调用 .cuda()，PyTorch 也可能在第一次 kernel launch 前强制同步——务必从 dataloader 就用 pin_memory=True + non_blocking=True 链路打通。
C++免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 C++ 的入门与实战技巧！
