pytorch多模态特征拼接需先统一维度再cat：各分支输出应flatten为[b,d]，断言验证维度一致，dim=1拼接；维度不匹配时用nn.linear投影而非池化；确保所有分支requires_grad=true；dropout宜置于拼接后首层，0.1起调。
PyTorch 中用 torch.cat 拼接不同分支的特征张量
多模态融合最常用的就是特征级拼接，但直接 torch.cat 报错是高频问题。核心原因不是不会写，而是没对齐维度：图像分支输出可能是 [B, 512]，文本分支是 [B, 768]，看着 batch 一致，但若某一分支用了 nn.AdaptiveAvgPool2d(1) 却忘了 .flatten(1)，实际形状可能是 [B, 512, 1, 1] —— 这时拼接会失败。
实操建议：
- 所有分支输出统一做
.view(b, -1)或.flatten(1)，避免残留空间维度 - 拼接前加断言：
assert feat_img.dim() == 2 and feat_text.dim() == 2 and feat_img.size(0) == feat_text.size(0) - 用
dim=1拼接（即横向合并），别误用dim=0导致 batch 错乱 - 如果某分支输出含序列维度（如文本的
[B, L, D]），先做mean(1)或[:, 0]取 CLS 向量，再拼接
分支输出维度不一致时，该用 nn.Linear 还是 nn.AdaptiveAvgPool1d？
图像 backbone 输出 2048 维，文本 encoder 输出 1024 维，硬拼会破坏后续全连接层权重匹配。这时不能靠“缩放”或“截断”，得做显式映射。
选线性层还是池化？取决于你是否需要保留语义结构：
- 用
nn.Linear(in_features, target_dim)：适合大多数情况，参数少、可学习、兼容任意输入维；例如统一投射到 512：self.proj_img = nn.Linear(2048, 512) - 避免用
nn.AdaptiveAvgPool1d(512)：它只对序列长度做压缩，不是降维，输入是[B, 2048]时会报错，因为池化操作要求至少 3D 张量 - 若分支输出带时间步（如视频帧序列），且你想保留时序对齐能力，才考虑
nn.Conv1d+nn.GELU做通道压缩
训练时梯度能反传到所有分支吗？关键看 requires_grad 和计算图是否断裂
常见错误是加载预训练模型后，忘了放开 requires_grad，导致拼接后的 loss 对图像 backbone 完全无梯度。更隐蔽的是用了 .detach() 或 with torch.no_grad(): 包裹某个分支——这会让整个拼接结果变成 no-grad tensor。
检查和修复方法：
- 打印各分支输出的
.requires_grad值，必须全为True - 确认没有在 forward 中对任一分支调用
.detach()；若需冻结某分支，应设model.requires_grad_(False)在初始化阶段，而非每次 forward 里 - 拼接后立刻测试梯度：
loss.backward()后检查model.img_backbone.layer4[0].conv1.weight.grad是否非空 - 如果用了
torch.compile，注意某些旧版 PyTorch 对多输入编译支持不稳定，可能导致梯度丢失
多模态拼接后接分类头，nn.Dropout 放在哪一层最有效？
Dropout 不是越多越好。放在拼接后第一层（即融合特征入口）比放在最后几层更防过拟合，尤其当两个分支本身已带 strong regularization（如 ViT 的 attention dropout、BERT 的 hidden dropout）时，重复加 Dropout 反而降低信噪比。
推荐位置与参数：
- 在
torch.cat之后、第一个nn.Linear之前加nn.Dropout(0.1)—— 0.1 是起点，超参搜索范围建议 0.05–0.2 - 避免在每个
nn.Linear后都加 Dropout；两层以上全连接时，只在第一层后加即可 - 如果某一分支数据量极小（如只有几百条音频样本），可在该分支输出后单独加
nn.Dropout(0.3)，再拼接，起到平衡模态贡献的作用
真正麻烦的从来不是怎么拼，而是拼完之后哪边梯度弱、哪边特征坍缩、哪次实验其实悄悄冻住了文本编码器——这些细节藏在 print(feat.shape) 和 print(feat.mean(), feat.std()) 里，而不是架构图上。
