Google AudioPaLM은 말하기와 듣기 모두를 위한 대규모 모델인 '텍스트 + 오디오' 이중 모달 솔루션을 구현합니다.

강력한 성능과 다양성을 갖춘 대규모 언어 모델은 오디오, 비디오 등과 같은 다양한 다중 모드 대형 모델의 개발을 주도해 왔습니다.

언어 모델의 기본 아키텍처는 대부분 Transformer와 주로 디코더를 기반으로 하므로 모델 아키텍처를 너무 많이 조정하지 않고도 다른 시퀀스 양식에 적용할 수 있습니다.

최근 Google은 텍스트와 오디오 토큰을 다중 모드 공동 어휘로 병합하고 이를 다양한 작업 설명 태그와 결합하여 음성과 텍스트의 혼합을 달성하는 통합 음성 텍스트 모델 AudioPaLM을 출시했습니다. 음성인식(ASR), 텍스트-음성 합성, 자동 음성 번역(AST), 음성-음성 번역(S2ST) 등 작업에 대한 모델만 제공하여 전통적으로 이종 모델이 해결했던 작업을 하나의 아키텍처로 통합합니다. 그리고 훈련 과정.

Pictures

문서 링크: https://arxiv.org/pdf/2306.12925.pdf

예제 링크: https://google-research.github.io/seanet/audiopalm/examples /

또한 AudioPaLM의 기본 아키텍처는 텍스트에 대해 사전 훈련된 대규모 언어 모델의 가중치로 초기화할 수 있는 대규모 Transformer 모델이므로 PaLM과 같은 모델의 언어 지식을 활용할 수 있습니다. .

구현 결과 측면에서 AudioPaLM은 AST 및 S2ST 벤치마크에서 최고 수준의 결과를 달성했으며, ASR 벤치마크에서의 성능은 다른 모델과 비슷합니다.

AudioLM의 오디오 신호를 활용함으로써 AudioPaLM 모델은 음성 품질 및 음성 보존 측면에서 기존 방법을 능가하는 새로운 화자 음성 마이그레이션에 대해 S2ST를 수행할 수 있습니다.

AudioPaLM 모델에는 훈련에서 볼 수 없는 음성 입력/대상 언어 조합에 대한 AST 작업을 수행하는 제로샷 기능도 있습니다.

AudioPaLM

연구원들은 텍스트와 음성 토큰을 모델링하기 위해 디코더 전용 Transformer 모델을 사용합니다. 텍스트와 오디오는 모델에 입력되기 전에 분할되었으므로 입력은 단지 정수 시퀀스입니다. 출력 끝 그런 다음 토큰화 해제 작업을 수행하고 이를 사용자에게 반환합니다.

Pictures

오디오 임베딩 및 단어 분할

원래 오디오 파형을 토큰으로 변환하는 과정에는 기존 음성 표현 모델에서 임베딩을 추출하는 과정과 임베딩을 제한된 세트로 분할하는 과정이 포함됩니다. of audio tokens

이전 작업에서 우리는 w2v-BERT 모델에서 임베딩을 추출하고 k-평균을 통해 이를 양자화했습니다. 이 논문에서 연구원들은 세 가지 방식으로 실험했습니다.

w2v-BERT: w2v 사용 - 순수한 영어가 아닌 다국어 데이터로 훈련된 BERT 모델, k-평균 클러스터링 전에 정규화 처리가 수행되지 않습니다. 그렇지 않으면 다국어 환경에서 문제가 발생할 수 있습니다. 중간 성능이 저하됩니다. 그런 다음 어휘 크기가 1024

USM-v1인 25Hz 속도로 토큰을 생성합니다. 더 강력한 20억 매개변수 USM(Universal Speech Model) 인코더를 사용하여 유사한 작업을 수행하고 중간 계층에서 임베딩을 추출합니다.

USM-v2: 보조 ASR 손실로 훈련되었으며 여러 언어를 지원하도록 더욱 미세 조정되었습니다.

텍스트 전용 디코더 수정

Transfomrer 디코더 구조에서는 입력 및 최종 소프트맥스 출력 레이어를 제외하고 모델링 토큰 수는 관련되지 않으며 PaLM 아키텍처에서는 , 입력 및 출력 행렬의 가중치 변수는 공유됩니다. 즉, 서로 전치됩니다.

따라서 순수 텍스트 모델을 텍스트와 오디오를 모두 시뮬레이션할 수 있는 모델로 바꾸려면 임베딩 행렬의 크기를 (t × m)에서 (t+a) ×m으로 확장하기만 하면 됩니다. 여기서 t는 텍스트 어휘의 크기, a는 오디오 어휘의 크기, m은 임베딩 차원입니다.

사전 훈련된 텍스트 모델을 활용하기 위해 연구원들은 임베딩 매트릭스에 새로운 행을 추가하여 기존 모델의 체크포인트를 변경했습니다.

구체적인 구현은 첫 번째 t 토큰이 SentencePiece 텍스트 태그에 해당하고 다음 a 토큰이 오디오 태그를 나타낸다는 것입니다. 텍스트 임베딩은 사전 훈련된 가중치를 재사용하지만 오디오 임베딩은 새로 초기화되어야 합니다. 훈련을 받았습니다.

실험 결과에 따르면 처음부터 재교육하는 것과 비교할 때 텍스트 기반 사전 교육 모델은 음성 및 텍스트의 다중 모드 작업 성능을 향상시키는 데 매우 유익합니다.

오디오 토큰을 네이티브 오디오로 디코딩

오디오 토큰에서 오디오 파형을 합성하기 위해 연구원들은 두 가지 방법을 실험했습니다.

1 AudioLM 모델과 유사한 자동 회귀 디코딩.

2. SoundStorm 모델과 유사한 비자동회귀 디코딩

두 가지 방법 모두 먼저 SoundStream 토큰을 생성한 다음 컨벌루션 디코더를 사용하여 오디오 파형으로 변환해야 합니다.

다국어 LibriSpeech에 대한 교육을 받은 연구원들은 음성 조건으로 오디오 토큰과 SoundStream 토큰으로 표현되는 3초 길이의 음성 샘플을 제공합니다.

원래 입력 음성의 일부를 음성 조건으로 제공하여 모델 인간의 음성이 다른 언어로 번역될 때 원래 화자의 음성이 유지됩니다. 원래 오디오가 3초 미만인 경우 반복 재생을 통해 공백 시간을 채웁니다.

훈련 작업

사용된 훈련 데이터 세트는 모두 음성 텍스트 데이터입니다:

1. 오디오: 원어 음성(음성)

2. 스크립트 : 오디오 데이터의 음성 전사

3. 번역된 오디오 번역된 오디오: 오디오의 음성 번역

4. 번역된 대본: 오디오 음성의 서면 번역

구성 요소 작업은 다음과 같습니다. 음성 번역): 오디오를 번역하여 번역된 오디오를 얻습니다.

4. TTS(텍스트 음성 변환): 텍스트로 변환된 콘텐츠를 읽어 오디오를 얻습니다.

5. MT(Text-to-Text Machine Translation): 번역된 사본을 얻기 위해 사본을 번역합니다.

데이터세트는 여러 작업에 사용될 수 있으므로 연구원은 모델에 신호를 보내 어떤 작업을 수행할지 선택했습니다. 주어진 입력에 대해 모델이 수행해야 하는 사항은 입력 앞에 레이블을 추가하여 지정하고, 작업의 영어 이름과 입력 언어를 지정하는 것도 가능합니다.

예를 들어 모델이 프랑스어 코퍼스에서 ASR을 수행하도록 하려면 단어 분할 후 오디오 입력 앞에 [ASR French] 레이블을 추가해야 영어로 TTS 작업을 수행할 수 있습니다. [TTS English] 텍스트 앞에는 영어에서 프랑스어로 S2ST 작업을 수행하기 위해 분할된 영어 오디오 앞에 [S2ST English French]

Training Mix

을 사용했습니다. 훈련 데이터를 혼합하기 위한 SeqIO 라이브러리, 더 큰 데이터 세트는 가중치 감소를 거칩니다.

PicturesExperimental part

Pictures

AudioPaLM은 ASR의 성능이 최적은 아니지만 효과도 매우 좋습니다.

연구진은 음성 콘텐츠의 번역 품질을 평가하는 것 외에도 AudioPaLM에서 생성된 언어의 품질이 충분히 높은지, 다른 언어로 번역할 때 화자의 음성이 유지되는지도 평가했습니다.

객관적 지표

오디오 샘플이 제공될 때 참조 없는 MOS 추정기와 유사한 것을 사용하면 인지된 오디오 품질을 1에서 5까지의 범위로 추정할 수 있습니다.

언어 간 음성 전달 품질을 측정하기 위해 연구원들은 기성 화자 검증 모델을 사용하고 소스(SoundStream으로 인코딩/디코딩됨)와 번역된 음성 임베딩 간의 코사인 유사성을 계산했습니다. 소스 오디오의 음향 특성에서 대상 오디오(녹음 조건, 배경 소음)까지의 임베딩입니다.

주관적 평가

연구원들은 두 연구에서 동일한 샘플 세트를 사용하여 생성된 음성 품질과 음성 유사성을 평가하기 위해 두 가지 독립적인 연구를 수행했습니다.

말뭉치의 품질이 고르지 않기 때문에 일부에는 큰 소리로 겹치는 음성(예: 배경에서 재생되는 TV 프로그램 또는 노래) 또는 매우 강한 소음(예: 마이크에 옷이 마찰하는 소리)이 포함되어 있습니다. 인간 평가자의 업무가 복잡했기 때문에 연구원들은 MOS 추정치가 3.0 이상인 입력만 선택하여 사전 필터링하기로 결정했습니다.

등급은 1점(품질이 좋지 않거나 사운드가 완전히 다름)부터 5점(품질은 좋음, 사운드는 동일)까지 5점 척도로 제공됩니다.

Pictures

AudioPaLM은 객관적 측정과 주관적 측정 모두에서 오디오 품질 및 음성 유사성 측면에서 기본 Translatotron 2 시스템보다 훨씬 뛰어난 성능을 발휘하며 AudioPaLM이 실제 시스템보다 우수하다는 결과를 볼 수 있습니다. CVSS-T 합성 녹음은 더 높은 품질과 더 나은 음성 유사성을 가지며 대부분의 지표에서 크게 향상됩니다.

연구원들은 또한 자원이 많은 그룹과 낮은 그룹(프랑스어, 독일어, 스페인어, 카탈로니아어와 기타 언어)의 시스템을 비교한 결과 이러한 그룹 간의 측정항목에서 큰 차이가 없음을 발견했습니다.

위 내용은 Google AudioPaLM은 말하기와 듣기 모두를 위한 대규모 모델인 '텍스트 + 오디오' 이중 모달 솔루션을 구현합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!