PyTorch回归模型不学习?关键在于评估阶段的输入分布错误

胖强吖_5810

胖强吖_5810

2026-05-21

407人浏览

原创

模型实际已正常训练,但评估时使用了错误的x取值范围([0,1)而非[-2,2]),导致预测曲线严重失真,误判为“未学习”。

模型实际已正常训练,但评估时使用了错误的x取值范围([0,1)而非[-2,2]),导致预测曲线严重失真,误判为“未学习”。

在PyTorch回归任务中,模型“不学习”的表象往往并非源于训练逻辑缺陷,而更常来自**数据流的一致性断裂**——尤其是训练与推理阶段输入分布不匹配。您提供的代码中,`start_train()` 的训练数据正确覆盖区间 $[-2, 2]$(通过 `TestDataset.__getitem__` 构造 `x = func_min + index * unit`),但后续 `comparison()` 函数却完全脱离该分布:
# ❌ 错误:x 被硬编码为 [0, 1) 区间(i / sample_num),与训练域严重偏离
for i in range(sample_num):
    train_feature = tensor([0, 0, 0, 0, 0, i / sample_num], dtype=float32)

这导致模型在从未见过的、极小且偏置的输入区域(接近0)上被测试,而神经网络(尤其含多层Tanh)在输入远离训练域时极易输出饱和、平坦的响应——恰好对应您观察到的“flat line”现象。损失曲线缓慢下降也符合此解释:模型确实在拟合 $y=x^2$,但评估方式掩盖了其真实能力。

✅ 正确做法是严格复现训练时的x采样逻辑。修改 comparison() 如下:

PyTorch Linux版 2.11.0
PyTorch Linux版 2.11.0

PyTorch 2.11.0 历史版本下载,来自 PyPI 官方发布,适合旧项目兼容、实验复现和指定环境安装。

下载
def comparison(model: ANN, sample_num: int) -> None:
    model.eval()
    prediction_list = []
    target_list = generate_targets(sample_num)  # 复用相同生成逻辑

    # ✅ 正确:与 TestDataset.__getitem__ 保持完全一致的x构造方式
    func_max, func_min = 2.0, -2.0
    unit = (func_max - func_min) / sample_num

    for i in range(sample_num):
        x = func_min + i * unit  # 关键修正:x ∈ [-2, 2]
        train_feature = tensor([0, 0, 0, 0, 0, x], dtype=float32)
        prediction = model(train_feature)
        prediction_list.append(prediction.item())

    # 绘图x轴坐标也需同步修正为 [-2, 2]
    x_list = [func_min + i * unit for i in range(sample_num)]

    plt.plot(x_list, target_list, marker='o', label='Target (y=x²)')
    plt.plot(x_list, prediction_list, marker='x', label='Prediction')
    plt.xlabel('x')
    plt.ylabel('y')
    plt.title('Prediction vs Target (x ∈ [-2, 2])')
    plt.legend()
    plt.grid(True, alpha=0.3)
    plt.savefig('Debugger_Comparison_Fixed.png')
    plt.close()

此外,建议补充以下最佳实践以增强鲁棒性:

  • 启用梯度检查:在训练循环中加入 torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=1.0) 防止梯度爆炸;
  • 验证数据一致性:打印 train_feature[:, -1].min().item() 和 .max().item() 确认训练x范围;
  • 使用 torch.no_grad():comparison() 中明确包裹前向计算,避免意外梯度累积;
  • 初始化诊断:首次迭代前用 model(torch.zeros(1, 6)) 检查初始输出是否合理(如非全零或极大值)。

修正后,您将看到预测曲线紧密贴合 $y=x^2$ 抛物线——这证实模型本身具备学习能力,问题纯粹出在评估环节的数据对齐缺失。记住:训练与推理的输入空间必须严格同构,这是深度学习调试的第一铁律。

相关专题

更多
python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

2023.07.20

1591

4

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

2023.07.25

3804

7

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.31

1589

3

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

2023.08.03

21857

23

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

2687

5

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

2747

5

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

1103

5

python合并两个列表
python合并两个列表

Python是一种强大的编程语言,具有许多方便的功能和工具。在Python中,有多种方法可以合并两个列表。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.10

596

4

python是前端还是后端
python是前端还是后端

Python属于前端也属于后端,其灵活性和丰富的生态系统使得开发人员能够在不同的领域中灵活运用。本专题为大家提供python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

2123

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程