중국어 음성 사전 훈련된 모델을 찾을 수 없나요? 중국어 버전 Wav2vec 2.0 및 HuBERT 출시 예정

Wav2vec 2.0 [1], HuBERT [2] 및 WavLM [3] 및 기타 음성 사전 훈련 모델은 수만 시간의 레이블이 지정되지 않은 음성 데이터(예: Libri-light)에 대한 자기 지도 학습을 통해 크게 개선되었습니다. ASR(자동 음성 인식), TTS(텍스트 음성 변환) 및 VC(음성 대화)와 같은 음성 다운스트림 작업의 성능이 향상되었습니다. 그러나 이러한 모델에는 공개 중국어 버전이 없으므로 중국어 음성 연구 시나리오에 적용하기가 어렵습니다.

WenetSpeech[4]는 NPU(ASLP@NPU)의 오디오, 음성 및 언어 처리 연구 그룹, Mobvoi 및 Hillshell이 ​​공동으로 발표한 10,000시간 이상의 다중 도메인 음성 데이터 세트입니다. 중국어 음성 사전 훈련 모델의 공백을 메우기 위해 WenetSpeech 10,000시간 데이터 교육을 기반으로 중국어 버전 Wav2vec 2.0 및 HuBERT 모델을 오픈 소스화했습니다.

사전 훈련된 모델의 성능을 검증하기 위해 ASR 작업에서 검증했습니다. 실험 결과에 따르면 100시간의 지도 데이터를 사용한 ASR 작업에서 사전 훈련 모델로 학습한 음성 표현은 기존 음향 FBank 기능에 비해 상당한 성능 향상을 보였습니다. 단 100시간의 지도 데이터로도 얻을 수 있습니다. 1000시간의 감독 데이터 비교 결과.

모델 링크: https://github.com/TencentGameMate/chinese_speech_pretrain

모델 소개

Wav2vec 2.0 모델

그림 1: c 2.0 모델 구조(Baevski et al , 2020)

Wav2vec 2.0[1]은 Meta에서 2020년에 출시한 비지도 음성 사전 훈련 모델입니다. 핵심 아이디어는 벡터 양자화(VQ)를 통해 자체 구성 지도 학습 목표를 구성하고 입력을 대량으로 마스크한 다음 대조 학습 손실 함수를 학습에 사용하는 것입니다. 모델 구조는 위의 그림 1에 나와 있습니다. CNN(Convolutational Neural Network)을 기반으로 하는 특징 추출기는 원본 오디오를 일련의 프레임 특징으로 인코딩하고, VQ 모듈을 통해 각 프레임 특징을 이산 특징 Q로 변환합니다. 자기 감독 대상으로 사용됩니다. 동시에, 프레임 특징 시퀀스는 마스킹 작업을 거친 후 Transformer [5] 모델에 들어가 컨텍스트 표현 C를 얻습니다. 마지막으로 대조 학습 손실 함수를 통해 마스크 위치의 컨텍스트 표현과 해당 이산 특징 q 사이의 거리, 즉 양성 샘플 쌍이 단축됩니다. 원본 논문에서 Wav2vec 2.0 BASE 모델은 12층 Transformer 구조를 사용하고 1,000시간의 LibriSpeech 데이터로 훈련되었습니다. LARGE 모델은 24층 Transformer 구조를 사용하고 60,000시간의 Libri-light 데이터로 훈련되었습니다. 훈련 시간 측면에서 보면 BASE 모델은 64개의 V100 그래픽 카드를 사용하여 1.6일 동안 훈련하고, LARGE 모델은 128개의 V100 그래픽 카드를 사용하여 5일 동안 훈련합니다. 다운스트림 ASR 평가에서 단 10분의 지도 데이터를 사용해도 시스템은 여전히 ​​4.8의 WER(Word Error Rate) 결과를 달성했습니다.

HuBERT 모델

그림 2: HuBERT 모델 구조(Hsu et al., 2021)

HuBERT[2]는 2021년 Meta에서 발표한 모델이며, 모델 구조는 Wav2ve c 2.0과 유사하지만 차이점은 훈련 방법입니다. Wav2vec 2.0은 훈련 중에 음성 특징을 자체 감독 대상으로 이산화하는 반면, HuBERT는 MFCC 특징 또는 HuBERT 특징에 대해 K-평균 클러스터링을 수행하여 훈련 목표를 얻습니다. HuBERT 모델은 BASE 모델의 첫 번째 반복에서는 MFCC 특징에 대한 클러스터링을 수행하고, 두 번째 반복에서는 첫 번째 반복에서 얻은 HuBERT 모델의 중간 계층 특징에 대해 클러스터링을 수행합니다. BASE 모델의 두 번째 반복은 클러스터링을 위한 특징을 추출합니다. 원본 논문의 실험 결과로 판단하면, HuBERT 모델은 Wav2vec 2.0보다 우수하며, 특히 다운스트림 작업에 1시간 또는 10분과 같이 지도 학습 데이터가 거의 없는 경우 더욱 그렇습니다.

중국어 사전 훈련 모델

실험 구성WenetSpeech[4] train_l의 10,000시간 분량의 중국어 데이터를 비지도 사전 훈련 데이터로 설정하여 사용합니다. 데이터는 주로 YouTube 및 Podcast에서 제공되며 다양한 유형의 녹음 장면, 배경 소음, 말하는 스타일 등을 다루고 있습니다. 해당 분야에는 주로 오디오북, 내레이션, 다큐멘터리, TV 시리즈, 인터뷰, 뉴스, 낭독, 연설, 버라이어티 쇼 등이 포함됩니다. 등 10개의 주요 장면. 우리는 [1, 2]의 모델 구성에 따라 Fairseq 툴킷[6]을 기반으로 각각 Wav2vec 2.0 및 HuBERT 모델을 훈련했으며, 각 사전 훈련된 모델 모델에는 BASE와 LARGE의 두 가지 크기가 포함되어 있습니다. BASE 모델의 경우 8개의 A100 그래픽 카드를 사용하고, 그래디언트 누적은 8이며, 훈련을 위해 64개의 그래픽 카드를 시뮬레이션합니다. LARGE 모델의 경우 그라디언트 누적이 8인 16개의 A100 그래픽 카드를 사용하여 훈련을 위해 128개의 그래픽 카드를 시뮬레이션했습니다.

다운스트림 음성 인식 작업 검증 다운스트림 ASR 작업에 대한 사전 훈련된 모델의 효과를 확인하기 위해 ESPnet [7,8,9] 툴킷의 Conformer [10] 모델 실험 구성을 따릅니다. 즉, 사전 훈련된 모델이 다음과 같이 사용됩니다. 특징 추출기는 입력 음성 추출 사전 훈련 모델의 숨겨진 레이어 표현의 가중치 합산을 수행하고, 결과 음성 표현은 기존 FBank 특징을 입력으로 대체합니다. Conformer ASR 모델.

• Aishell Dataset

Aishell 178시간 학습 세트를 학습용 지도 데이터로 사용하여 각각 FBank 기능, Wav2vec 2.0 BASE/LARGE 모델 기능, HuBERT BASE/LARGE 모델 기능을 사용한 단어를 비교했습니다. CER(문자 오류율) 결과. 동시에 훈련을 위해 10,000시간의 중국어 데이터로 구성된 WenetSpeech train_l 세트를 사용할 때 Aishell 테스트 세트에 미치는 영향을 추가로 비교했습니다. 학습 데이터는 가변 속도(0.9, 1.0, 1.1배)와 SpecAugment 데이터 증대 기술을 사용하고, 디코딩 방법은 빔 검색이며, 재채점에는 Transformer 기반 언어 모델이 사용됩니다.

표 1: Aishell 테스트 세트에서 다양한 모델의 단어 오류율(CER%) 결과

수만 개를 결합하여 표 1의 결과에서 볼 수 있듯이 훈련된 사전 훈련 모델과 다운스트림 ASR 작업 효과가 크게 향상되었습니다. 특히 HuBERT LARGE 모델을 사용한 경우 테스트 세트에서 CER이 상대적으로 약 30% 향상되어 178시간의 지도 학습 데이터에서 업계 최고의 결과를 달성했습니다.

• WenetSpeech 데이터 세트

WenetSpeech train_s 세트 100시간의 중국어 데이터를 학습용 지도 데이터로 사용하여 FBank 기능, Wav2vec 2.0 BASE/LARGE 모델 기능 및 HuBERT BASE/LARGE의 사용을 비교했습니다. 모델 기능 각각의 문자 오류율(CER) 결과입니다. 동시에 중국 데이터 FBank 기능에 대해 1,000시간 동안 설정된 WenetSpeech train_m과 10,000시간 동안 설정된 train_l을 사용하여 훈련된 모델 결과를 추가로 비교했습니다. 학습 데이터는 가변 속도 또는 SpecAugment 데이터 증대 기술을 사용하지 않으며 디코딩 방법은 빔 검색이며 언어 모델 재채점은 사용되지 않습니다.

표 2: WenetSpeech 테스트 세트에 대한 다양한 모델의 단어 오류율(CER%) 결과

표 2의 결과는 수만 개를 조합하여 볼 수 있습니다. 훈련된 사전 훈련된 모델을 사용하면 다운스트림 ASR 결과가 크게 향상됩니다. 특히 음성 표현 추출기로 HuBERT LARGE를 사용하는 경우 100시간의 지도 데이터로 학습한 ASR 모델이 1000시간의 FBank 기능으로 학습한 모델보다 성능이 뛰어나며 심지어 10,000시간의 데이터로 학습한 모델과도 가깝습니다.

다운스트림 음성 작업에 대한 더 많은 실험 결과를 보려면 GitHub 링크(https://github.com/TencentGameMate/chinese_speech_pretrain)를 따르세요. 우리가 제공하는 중국어 음성 사전 훈련 모델을 사용하여 연구 작업을 수행하고 중국어 및 관련 시나리오에서 음성 사전 훈련 모델의 적용을 탐색하는 것을 누구나 환영합니다.

위 내용은 중국어 음성 사전 훈련된 모델을 찾을 수 없나요? 중국어 버전 Wav2vec 2.0 및 HuBERT 출시 예정의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!