如何解决 PyTorch 模型与输入张量设备不匹配的 RuntimeError-Python教程-PHP中文网

如何解决 PyTorch 模型与输入张量设备不匹配的 RuntimeError

本文详解 PyTorch 中 tensor.to(device) 非就地操作导致的常见设备错配错误（如“Input type and weight type should be the same”），并提供正确迁移张量到 GPU 的方法、完整修复示例及关键注意事项。

本文详解 pytorch 中 `tensor.to(device)` 非就地操作导致的常见设备错配错误（如“input type and weight type should be the same”），并提供正确迁移张量到 gpu 的方法、完整修复示例及关键注意事项。

在使用 PyTorch 进行 GPU 加速推理时，一个高频却极易被忽视的陷阱是：张量（torch.Tensor）调用 .to(device) 方法并不会原地修改张量，而是返回一个新张量。这与 nn.Module.to(device) 的行为有本质区别——后者确实支持就地迁移模型参数。当模型已成功加载至 CUDA 设备（如 self.classifier.to(self.device)），但输入张量未被显式赋值回变量，就会导致输入仍驻留 CPU，而权重已在 GPU，从而触发如下典型错误：

RuntimeError: Input type (torch.FloatTensor) and weight type (torch.cuda.FloatTensor) should be the same...

✅ 正确做法：显式赋值，不可省略

在您的 preprocess_image 方法中，以下这行代码是无效的：

expanded_tensor.to(self.device)  # ❌ 错误！返回新张量但未保存

必须改为：

PyTorch Linux版 2.11.0

PyTorch 2.11.0 历史版本下载，来自 PyPI 官方发布，适合旧项目兼容、实验复现和指定环境安装。

下载

expanded_tensor = expanded_tensor.to(self.device)  # ✅ 正确！接收迁移后的新张量

同理，若使用 cuda() 或指定设备字符串，也需赋值：

expanded_tensor = expanded_tensor.cuda()           # 等价于 .to('cuda')
expanded_tensor = expanded_tensor.to('cuda:0')     # 显式指定设备

? 完整修复后的 preprocess_image 示例

def preprocess_image(self, image_path):
    to_tensor = transforms.Compose([
        transforms.ToTensor(),
        transforms.Normalize((0.485, 0.456, 0.406), (0.229, 0.224, 0.225)),
    ])

    self.provided_image = Image.open(image_path)
    w, h = self.provided_image.size
    interpolated_image = self.provided_image.resize((w, h), Image.BILINEAR)
    composed_image = to_tensor(interpolated_image)
    expanded_tensor = torch.unsqueeze(composed_image, 0)  # 注意：应为 torch.unsqueeze，非 unsqueeze（未导入时会报错）

    # ✅ 关键修复：必须重新赋值
    expanded_tensor = expanded_tensor.to(self.device)

    with torch.no_grad():  # 推理阶段建议启用，节省显存并加速
        out = self.classifier(expanded_tensor)[0]
    return out

⚠️ 额外注意事项：
确保 unsqueeze 已正确导入：原文中 unsqueeze(composed_image, 0) 应为 torch.unsqueeze(...)，否则将引发 NameError。
验证设备一致性：可在关键节点添加调试输出，例如：
print(f"Model device: {next(self.classifier.parameters()).device}")
print(f"Input tensor device: {expanded_tensor.device}")
模型加载顺序很重要：您当前先调用 self.classifier.to(...) 再 load_state_dict(...)，这是正确的；若顺序颠倒（先加载再 .to()），可能导致部分参数未迁移。

load_state_dict 的设备兼容性：从磁盘加载的 .pth 文件本身不含设备信息，load_state_dict 不会自动移动参数——因此 to(device) 必须在 load_state_dict 之后或之前（推荐之后）显式调用，以确保最终参数位于目标设备。