找不到中文語音預訓練模型？中文版 Wav2vec 2.0和HuBERT來了

Wav2vec 2.0 [1]，HuBERT [2] 和 WavLM [3] 等语音预训练模型，通过在多达上万小时的无标注语音数据（如 Libri-light ）上的自监督学习，显著提升了自动语音识别（Automatic Speech Recognition, ASR），语音合成（Text-to-speech, TTS）和语音转换（Voice Conversation，VC）等语音下游任务的性能。然而这些模型都没有公开的中文版本，不便于应用在中文语音研究场景。 

WenetSpeech [4] 是由西工大音频、语音和语言处理研究组 (ASLP@NPU)、出门问问、希尔贝壳联合发布的 1 万多小时多领域语音数据集。为了弥补中文语音预训练模型的空缺，我们开源了基于 WenetSpeech 1 万小时数据训练的中文版 Wav2vec 2.0 和 HuBERT 模型。

为了验证预训练模型的性能，我们在 ASR 任务进行了验证。实验结果表明，在 100 小时有监督数据 ASR 任务上，预训练模型学到的语音表征相对于传统声学 FBank 特征有显著的性能提升，甚至仅用 100 小时有监督数据能够得到和 1000 小时有监督数据可比的结果。

模型链接：https://github.com/TencentGameMate/chinese_speech_pretrain

模型介绍

Wav2vec 2.0 模型

图 1: Wav2vec 2.0 模型结构 (Baevski et al., 2020)

Wav2vec 2.0 [1] 是 Meta 在 2020 年发表的无监督语音预训练模型。它的核心思想是通过向量量化（Vector Quantization，VQ）构造自建监督训练目标，对输入做大量掩码后利用对比学习损失函数进行训练。模型结构如上图 1，基于卷积网络（Convoluational Neural Network，CNN）的特征提取器将原始音频编码为帧特征序列，通过 VQ 模块把每帧特征转变为离散特征 Q，并作为自监督目标。同时，帧特征序列做掩码操作后进入 Transformer [5] 模型得到上下文表示 C。最后通过对比学习损失函数，拉近掩码位置的上下文表示与对应的离散特征 q 的距离，即正样本对。原论文中，Wav2vec 2.0 BASE 模型采用 12 层的 Transformer 结构，用 1000 小时的 LibriSpeech 数据进行训练，LARGE 模型则采用 24 层 Transformer 结构，用 6 万小时的 Libri-light 数据训练。训练时间方面，BASE 模型使用 64 块 V100 显卡训练 1.6 天，LARGE 使用 128 块 V100 显卡训练 5 天。在下游 ASR 评测中，即使只用 10 分钟的有监督数据，系统仍可得到 4.8 的词错误率（Word Error Rate, WER）结果。

HuBERT 模型

图 2: HuBERT 模型结构 (Hsu et al., 2021)

HuBERT [2] 是 Meta 在 2021 年发表的模型，模型结构类似 Wav2vec 2.0，不同的是训练方法。Wav2vec 2.0 是在训练时将语音特征离散化作为自监督目标，而 HuBERT 则通过在 MFCC 特征或 HuBERT 特征上做 K-means 聚类，得到训练目标。HuBERT 模型采用迭代训练的方式，BASE 模型第一次迭代在 MFCC 特征上做聚类，第二次迭代在第一次迭代得到的 HuBERT 模型的中间层特征上做聚类，LARGE 和 XLARGE 模型则用 BASE 模型的第二次迭代模型提取特征做聚类。从原始论文实验结果来看，HuBERT 模型效果要优于 Wav2vec 2.0，特别是下游任务有监督训练数据极少的情况，如 1 小时、10 分钟。

中文預訓練模型

實驗配置我們使用 WenetSpeech [4] train_l 集的 1 萬小時中文資料作為無監督預訓練資料。資料主要來自YouTube 和Podcast，涵蓋了各種類型錄製場景、背景噪音、說話方式等，其領域主要包括有聲書、解釋、紀錄片、電視劇、訪談、新聞、朗讀、演講、綜藝和其他10 大場景。我們基於 Fairseq 工具包 [6] 分別訓練了 Wav2vec 2.0 和 HuBERT 模型，遵循 [1，2] 的模型配置，每個預訓練模型模型包括 BASE 和 LARGE 兩種大小。對於 BASE 模型，我們使用 8 張 A100 顯示卡，梯度累積為 8，模擬 64 張顯示卡進行訓練。對於 LARGE 模型，我們使用 16 張 A100 顯示卡，梯度累積為 8，模擬 128 張顯示卡進行訓練。

下游語音辨識任務驗證為了驗證預訓練模型在下游ASR 任務的效果，我們遵循ESPnet [7,8,9] 工具包中的Conformer [10] 模型實驗配置，即將預訓練模型作為特徵提取器，對於輸入語音提取預訓練模型各隱層表徵進行加權求和，得到的語音表徵將替換傳統FBank 特徵作為Conformer ASR 模型的輸入。

• Aishell 資料集

#我們使用Aishell 178 小時訓練集作為有監督資料進行訓練，分別對比了使用FBank 特徵、Wav2vec 2.0 BASE/LARGE 模型特徵和HuBERT BASE/LARGE 模型特徵的字錯誤率(Character Error Rate, CER) 結果。同時，我們額外對比了使用 WenetSpeech train_l 集 1 萬小時中文資料進行訓練時，其在 Aishell 測試集上的效果。訓練資料使用了變速（0.9、1.0、1.1 倍）和 SpecAugment 資料增廣技術，解碼方式為 beam search，使用了基於 Transformer 的語言模型進行 rescoring。

表1：不同模型在Aishell 測試集上的字錯誤率（CER%）結果

根據表1 結果可以看到，透過結合萬小時無監督資料訓練的預訓練模型，下游ASR 任務效果均有顯著提升。尤其是使用 HuBERT LARGE 模型時，在 Test 集上得到約 30% 的 CER 相對提升，實現了目前在 178h 有監督訓練資料下業界最佳結果。

• WenetSpeech 資料集

我們使用WenetSpeech train_s 集100 小時中文資料作為有監督資料進行訓練，分別比較了使用FBank 特徵、Wav2vec 2.0 BASE/LARGE 模型特徵和HuBERT BASE/LARGE 模型特徵的字錯誤率(Character Error Rate, CER) 結果。同時，我們額外比較了使用 WenetSpeech train_m 集 1000 小時和 train_l 集 1 萬小時中文資料 FBank 特徵訓練的模型結果。訓練資料沒有使用變速或 SpecAugment 資料增廣技術，解碼方式為 beam search，沒有使用語言模型 rescoring。

表2：不同模型在WenetSpeech 測試集上的字錯誤率（CER%）結果

根據表2 結果可以看到，透過結合萬小時無監督資料訓練的預訓練模型，下游ASR 結果得到了巨大提升。尤其當使用 HuBERT LARGE 作為語音表徵提取器時，使用 100 小時有監督資料訓練的 ASR 模型要比 1000 小時基於 FBank 特徵訓練的模型效果要好，甚至接近 1 萬小時資料訓練的模型。

更多語音下游任務實驗結果請關注 GitHub 連結（https://github.com/TencentGameMate/chinese_speech_pretrain）。歡迎大家使用我們提供的中文語音預訓練模型進行研究工作，一起探索語音預訓練模型在中文和相關眾多場景下的應用。

以上是找不到中文語音預訓練模型？中文版 Wav2vec 2.0和HuBERT來了的詳細內容。更多資訊請關注PHP中文網其他相關文章！