结论：该错误无法用 try...except 捕获，因其是 GPU kernel 崩溃导致的进程级终止，非 Python 可捕获异常；必须依赖 cuda-memcheck 工具定位底层非法内存访问点。
PyTorch里根本捕获不到CUDA非法内存访问
直接说结论：RuntimeError: CUDA error: an illegal memory access was encountered 无法在 Python 层用 try...except 捕获。这不是一个可抛出的 Python 异常，而是 GPU kernel 执行崩溃后，CUDA 运行时向主机端回传的 fatal error，进程会直接中止——哪怕你写了 try，也来不及执行 except 分支。
常见错误现象包括：
- 脚本突然退出，终端只打印一句错误，无 traceback
-
torch.cuda.is_available()返回True，但后续任意 CUDA 操作（如.cuda()、.sum()、loss.backward()）都触发该错误 - 错误出现在看似“安全”的位置，比如第 127 个 batch 或第 3 轮 validation，复现不稳定
为什么不能靠 Python 异常处理？
因为非法内存访问发生在 GPU 设备端，而 PyTorch 的 Python 接口是异步的：调用 model(x) 后控制权立刻返回，kernel 其实在后台流中执行。等你发现出错，早已过了 Python 的异常传播时机。
真正能暴露问题的，是显式同步点：
-
torch.cuda.synchronize()—— 等待当前默认流所有操作完成 -
loss.backward()后隐含一次同步（所以反向常是第一个报错点） -
torch.cuda.empty_cache()不同步，也不触发检查
如果你硬要在某处“试探”，得手动插同步并检查：
try:
output = model(x)
torch.cuda.synchronize() # 关键：强制暴露 kernel 错误
except RuntimeError as e:
if "illegal memory access" in str(e):
print("GPU kernel 崩了，不是 Python 层问题")
# 此处仍大概率进不来，因进程已终止
真正有效的定位路径只有 cuda-memcheck
绕过 Python 异常机制，直击 GPU 执行现场。必须用 NVIDIA 官方工具，而不是加日志或改 batch size。
实操建议：
- 确保环境有
cuda-memcheck（PyTorch-CUDA-v2.6 镜像默认预装；本地需装完整 CUDA Toolkit） - 不要运行
python train.py，改用：cuda-memcheck --tool memcheck python train.py --epochs 1 - 关注输出中的
= Invalid __global__ read/write of size X =行，它会精确到 .cu 文件第几行、哪个 thread/block - 若报错指向 PyTorch 内部（如
THC/THC.h），说明是张量形状/stride 不匹配，重点查view()、permute()、transpose()等视图操作
容易被忽略的三个“伪修复”陷阱
很多人试过这些方法，看似缓解、实则掩盖真因：
- 加
torch.cuda.empty_cache()：只是释放缓存，不解决越界访问；反而可能让错误延迟出现 - 降
batch_size或关num_workers：仅规避显存不足引发的间接崩溃，对 kernel 逻辑错误无效 - 换
torch.compile()或torch.backends.cudnn.enabled = False：可能跳过出问题的 kernel 路径，但 bug 仍在，上线后必爆
真正的修复永远落在：确认 kernel 索引是否越界、检查自定义 CUDA 扩展的 if (idx 守卫、验证 PyTorch 算子输入张量的 contiguous() 和 is_non_overlapping_and_dense() 状态。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
