在Python中如何使用PyTorch的Autograd引擎手动计算高阶导数？-Python教程-PHP中文网

torch.autograd.grad 默认不返回高阶导数，因其设计为一次反向传播求一阶梯度，且中间梯度张量默认不构建计算图；需显式设 create_graph=true 和 requires_grad=true 才能支持高阶导。

在python中如何使用pytorch的autograd引擎手动计算高阶导数？

为什么 `torch.autograd.grad` 默认不返回高阶导数？

因为 torch.autograd.grad 的设计目标是“一次反向传播求一阶梯度”，它内部调用的是底层的反向图（backward graph），而这个图在默认情况下只构建到一阶。如果你直接对一阶梯度再调用 grad，会报 RuntimeError: element 0 of tensors does not require grad——根本原因是中间梯度张量默认不参与后续计算图构建。

解决办法是：显式启用 create_graph=True，让梯度本身也带计算图；同时确保所有参与链式求导的变量都设置了 requires_grad=True。

create_graph=True 是必须的，否则二阶导无法继续求导
retain_graph=True 通常需要配合使用（尤其多次调用 grad 时），避免图被释放
如果对标量函数求高阶导，输入必须是标量；若输入是张量，需先 reduce（如 .sum()）成标量，否则 grad 报错

手动计算二阶导：以 `f(x) = x**3` 为例

目标是求 d²f/dx² 在 x=2 处的值（理论值为 12）。关键不是封装，而是看清每一步张量的 requires_grad 状态和图连接：

import torch
<p>x = torch.tensor(2.0, requires_grad=True)
y = x ** 3  # y = f(x)</p><h1>一阶导：dy/dx</h1><p>grad_y = torch.autograd.grad(y, x, create_graph=True)[0]  # 注意 [0]，返回元组</p><h1>二阶导：d²y/dx² = d(grad_y)/dx</h1><p>grad2_y = torch.autograd.grad(grad_y, x, retain_graph=True)[0]</p><div class="aritcle_card flexRow artxards">
											<div class="artcardd flexRow">
												<a class="aritcle_card_img" rel="nofollow" href="/xiazai/skill8393" title="Forge — Python Developer"><img
														src="https://img.php.cn/upload/skill/000/000/081/179203503734063.jpg" alt="Forge — Python Developer" onerror="this.onerror='';this.src='/static/lhimages/moren/morentu.png'" ></a>
												<div class="aritcle_card_info flexColumn">
													<a rel="nofollow" href="/xiazai/skill8393" title="Forge — Python Developer" class="overflowclass">Forge — Python Developer</a>
													<p class="overflowclass">Python开发助手 — 自动化脚本、API封装、命令行工具、数据管道、网页爬虫。经过测试的代码，包含错误处理和文档。当你需要...</p>
												</div>
												<a rel="nofollow" href="/xiazai/skill8393" title="Forge — Python Developer" class="aritcle_card_btn flexRow flexcenter"><b></b><span>下载</span>
												</a>
											</div>
										</div><p>print(grad2_y.item())  # 输出 12.0
</p>

这里容易漏掉的是：第一行的 create_graph=True 缺失，会导致 grad_y 不可导；第二行没加 retain_graph=True（虽然单次调用可省略），但一旦后续还要算三阶导或复用 y，就会触发 RuntimeError: Trying to backward through the graph a second time。

求 Hessian 矩阵时为什么不能直接对向量用 `torch.autograd.grad`？

torch.autograd.grad 要求 outputs 是标量（或每个 output 都对标量求导），而 Hessian 是二阶偏导矩阵，涉及对向量输入的每个分量分别求导。常见错误写法：torch.autograd.grad(grad_vec, x) 会失败，因为 grad_vec 是向量，不是标量。

正确做法是逐列构造：对每个输出分量 y_i 先求一阶梯度 g_i = ∇y_i，再对每个 g_i[j] 求关于 x 的梯度。更实用的是用 torch.autograd.functional.hessian（PyTorch 1.11+），但它内部也是循环调用 grad + create_graph。

手动实现 Hessian 循环中，每次 torch.autograd.grad(..., create_graph=True) 都要小心内存增长
若输入维度高（如 1000 维），全 Hessian 存储成本 O(n²)，应优先考虑 Hessian-vector product（torch.autograd.functional.hvp）
注意 torch.autograd.functional.jacobian 返回的是 Jacobian，不是 Hessian；Hessian 要求函数输出是标量