如何在Python中通过PyTorch实现音频梅尔频谱图的特征提取？-Python教程-PHP中文网

torchvision.transforms不支持音频，必须使用torchaudio.transforms；后者专为音频设计，提供melspectrogram等可微分变换，且要求输入为float32归一化波形、正确设置sample_rate与n_fft等参数，否则易输出全零或报错。

如何在python中通过pytorch实现音频梅尔频谱图的特征提取？

torchvision.transforms不支持音频，得用torchaudio.transforms

很多人一开始会下意识用 torchvision.transforms 去处理音频，结果报错 AttributeError: module 'torchvision.transforms' has no attribute 'MelSpectrogram'。这是因为 torchvision 专为图像设计，音频必须用 torchaudio——它自带一整套信号处理变换，且与 PyTorch 张量原生兼容。

安装确认：确保已装 torchaudio（版本需与 PyTorch 匹配，例如 PyTorch 2.0 对应 torchaudio 2.0）：

pip install torch torchaudio

关键点：

torchaudio.transforms.MelSpectrogram 返回的是复数张量（magnitude + phase），默认输出是功率谱（即 magnitude²），不是对数尺度
若要类 librosa 的 log-mel，需额外接 torchaudio.transforms.AmplitudeToDB
输入音频必须是 float 类型、形状为 (channel, time)，单声道常见为 (1, T)

参数设置直接影响特征可分性，n_fft 和 n_mels 不能随便填

梅尔频谱图质量高度依赖几个核心参数，调错会导致高频细节丢失或低频模糊。常见误设是直接照搬 librosa 默认值，但 torchaudio 的行为略有差异：

n_fft=2048：建议从 2048 或 4096 起手；太小（如 512）会让频域分辨率不足，尤其对辅音区分不利
hop_length=512：通常取 n_fft // 4；过大会丢帧，过小则冗余高、显存吃紧
n_mels=128：语音任务常用 64–128；音乐可能需要更高（如 256），但注意模型输入尺寸随之增大
sample_rate=16000：务必与原始音频一致；若加载时未重采样，后续所有频点都会偏移

示例构建变换链：

import torchaudio.transforms as T<br><br>mel_spec = T.MelSpectrogram(<br>    sample_rate=16000,<br>    n_fft=2048,<br>    hop_length=512,<br>    n_mels=128,<br>    power=2.0,<br>)<br>to_db = T.AmplitudeToDB(stype='power', top_db=80)

加载音频后必须归一化并转 float，否则 mel_spec 输出全零或溢出

torchaudio 加载的原始音频常为 int16（如 WAV），直接送入 MelSpectrogram 会因数值范围过大导致 FFT 计算异常，典型现象是输出全零、NaN 或 shape 不对（比如时间维度莫名变短）。

Secure Python Code Sandbox

安全 Python 代码沙箱：在隔离的沙箱中执行任意 Python 代码，预装 requests、NumPy、pandas 库。返回 stdout、stderr。

下载

正确做法是立即转 float 并归一化到 [-1.0, 1.0]：

waveform, sr = torchaudio.load("audio.wav")<br># 关键：int16 → float32 → 归一化<br>if waveform.dtype == torch.int16:<br>    waveform = waveform.float() / 32768.0<br>elif waveform.dtype == torch.int32:<br>    waveform = waveform.float() / 2147483648.0

其他易踩坑点：

多声道音频：默认取左声道 waveform[0:1]，别直接用 waveform.mean(0, keepdim=True)，相位抵消会毁掉频谱结构
长度不齐：训练前务必 pad 或截断到统一帧数，否则 batch 内无法堆叠；可用 torch.nn.utils.rnn.pad_sequence 或自定义 collate_fn
CPU/GPU 一致性：所有变换（包括 MelSpectrogram）都支持 device 指定，但务必保证 waveform 和 transform 在同一设备上，否则报 Expected all tensors to be on the same device

log-mel 输出是 (batch, channel, n_mels, time)，但 channel 维度常被忽略

最终输出张量形状是 (B, C, F, T)，其中 C=1 是通道数（非“颜色通道”，而是声学通道）。很多用户在送入 CNN 前忘记 unsqueeze(1) 或错误地 squeeze 掉了它，导致模型输入维度错配。

一个完整端到端片段：

waveform = waveform.to(device)<br>spec = mel_spec(waveform)          # shape: (1, 128, T')<br>spec_db = to_db(spec)           # shape: (1, 128, T')<br>spec_db = spec_db.unsqueeze(0)  # → (1, 1, 128, T'), 适配 CNN 输入

注意：MelSpectrogram 的输出不含 batch 维，哪怕输入是单条音频；必须手动加 batch 维才能喂给大多数模型。这个维度容易被忽略，尤其在调试单样本推理时。

如果后续接 ResNet 或 EfficientNet 这类图像 backbone，还要考虑是否做 min-max 归一化（例如 (spec_db + 80) / 80），因为它们通常期望输入在 [0, 1] 区间；而原始 dB 值范围是 [-80, 0]。