pytorch 1.2.0以下版本无torch.nn.gelu，调用会报attributeerror；推荐升级至1.2.0+并配对torchvision，否则可用torch.nn.functional.gelu或近似式xsigmoid(1.702x)替代。
PyTorch 1.0以下版本没有torch.nn.GELU，直接调用会报AttributeError
老项目或旧环境（比如PyTorch 0.4.1、1.0.0）里写nn.GELU()会直接抛错，因为GELU是1.2.0才正式加入torch.nn模块的。不是拼写错误，也不是没导入，就是真没这个类。
常见错误信息：AttributeError: module 'torch.nn' has no attribute 'GELU'
- 确认版本：运行
print(torch.__version__)，低于1.2.0就别硬用nn.GELU - 升级是最省事的方案，但得看CUDA和torchvision是否兼容——比如
torch==1.13.1+cu117要配torchvision==0.14.1+cu117，否则import torchvision可能失败 - 如果不能升级（例如服务器只允许特定版本），就得手写GELU
手写GELU时别用torch.erf在CPU上做逐元素计算
虽然公式是 0.5 * x * (1 + torch.erf(x / math.sqrt(2)))，但直接这么写在CPU张量上性能很差，且torch.erf在某些旧版本中对half精度不支持，容易触发RuntimeError: "erf_cpu" not implemented for 'Half'
- 推荐用
torch.nn.functional.gelu(x)替代手写——它从1.2.0起就有，且已做底层优化，支持CPU/CUDA/half/bfloat16 - 若版本太老（如1.0.0），可用近似版：
x * torch.sigmoid(1.702 * x)（Hendrycks & Goyal, 2016），速度快、无特殊函数依赖 - 避免在
forward里反复调用math.sqrt(2)——提前算好常量，比如写成0.5 * x * (1 + torch.erf(x * 0.70710678118))
自定义GELU类时必须继承nn.Module并实现forward，不能只返回函数
有人直接写class GELU: return F.gelu(x)，结果模型保存时报TypeError: can't pickle function objects，因为torch.save需要模块可序列化。
- 正确写法是定义类并调用
F.gelu，例如：
import torch import torch.nn as nn import torch.nn.functional as F <p>class GELU(nn.Module): def forward(self, x): return F.gelu(x) </p>
- 如果F.gelu不可用（版本forward
- 注意别漏掉
self参数，否则实例化时不会报错，但model(x)会提示missing 1 required positional argument: 'x'
混合精度训练（AMP）下nn.GELU和F.gelu行为一致，但手写近似版需显式转dtype
用torch.cuda.amp.autocast时，原生nn.GELU和F.gelu能自动适配float16输入；但自己写的sigmoid近似若含1.702这种Python float，默认是float64，会把整个计算图升到double，导致AMP失效甚至OOM。
- 所有字面量常数都加
.to(x.dtype)，比如torch.tensor(1.702, dtype=x.dtype, device=x.device) - 更稳妥的是用
x.new_tensor(1.702)，自动匹配x的dtype和device - 验证方式：打印
layer(x).dtype，确保和输入一致，而不是意外变成torch.float64
旧版本兼容性问题往往卡在细节：常量类型、函数作用域、序列化能力。与其反复调试手写GELU，不如先确认能否升级——很多“不能升级”其实是没试过pip install --force-reinstall torch==1.13.1+cu117 -f https://download.pytorch.org/whl/torch_stable.html。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
