Meta는 성경을 사용하여 초다국어 모델을 훈련합니다: 1107개 언어를 인식하고 4017개 언어를 식별합니다.

성경에 바벨탑에 대한 이야기가 있습니다. 인간들이 연합하여 천국으로 인도하기를 바라면서 높은 탑을 쌓으려 했으나 하나님께서 인간의 언어를 방해하시므로 그 계획이 실패하였다고 합니다. 오늘날 AI 기술은 인간 언어 사이의 장벽을 허물고 인류가 문명화된 바벨탑을 건설하는 데 도움이 될 것으로 예상됩니다.

최근 Meta의 연구에서는 성경을 훈련 데이터의 일부로 사용하는 새로 제안된 방법인 대규모 다국어 음성(MMS)을 사용하여 다음과 같은 결과를 얻었습니다.

• wave2vec 2.0을 사용하여 1107개 언어를 학습한 결과, OpenAI의 Whisper 모델과 비교하여 오류율이 50% 이상 감소했습니다.
• 단일 오디오 합성 모델은 이러한 1107개 언어에 대한 TTS(텍스트 음성 변환)를 지원합니다.
• 4017개 언어를 식별할 수 있는 언어 인식 분류기를 개발했습니다.

Meta는 여러 희귀 언어의 데이터 부족 문제를 어떻게 해결하나요? 그들이 사용한 방법은 종교적인 말뭉치를 사용하는 것으로 흥미롭습니다. 왜냐하면 성경과 같은 말뭉치는 가장 "정렬된" 음성 데이터를 갖고 있기 때문입니다. 이 데이터세트는 종교적인 내용에 치우쳐 있고 대부분 남성 목소리를 특징으로 하지만, 논문에서는 모델이 여성 목소리를 사용할 때에도 다른 영역에서도 잘 작동한다는 것을 보여줍니다. 이는 기본 모델의 새로운 동작이며 정말 놀랍습니다. 더욱 놀라운 점은 메타가 새로 개발한 모델(음성인식, TTS, 언어인식)을 모두 무료로 공개했다는 점입니다!

• 모델 다운로드: https://github.com/facebookresearch/fairseq/tree/main/examples/mms
• 논문 주소: https://research.facebook.com/publications/scaling -speech-technology-to-1000-언어s/

새롭게 제안된 방법

수천 개의 단어를 인식할 수 있는 음성 모델을 만들기 위해 첫 번째 과제는 다양한 언어의 오디오 데이터를 수집하는 것입니다. 현재 사용할 수 있는 가장 큰 음성 데이터 세트에는 최대 100개 언어만 포함되어 있습니다. 이러한 문제를 극복하기 위해 메타 연구자들은 다양한 언어로 번역된 성경 등의 종교 문헌을 사용했으며, 그 번역본에 대한 연구가 광범위하게 이루어졌습니다. 이러한 번역에는 사람들이 다양한 언어로 읽는 오디오 녹음이 포함되어 있으며 이러한 오디오는 공개적으로 이용 가능합니다. 연구자들은 이러한 오디오를 사용하여 1,100개 언어로 신약성경을 읽는 사람들의 오디오가 포함된 데이터세트를 만들었습니다. 오디오 길이는 언어당 평균 32시간입니다.

그런 다음 그들은 다른 많은 기독교 독서의 주석 없는 녹음을 포함하여 사용 가능한 언어의 수를 4,000개 이상으로 늘렸습니다. 이 데이터 세트의 필드는 단일이고 대부분 남성 목소리로 구성되어 있지만 분석 결과에 따르면 Meta가 새로 개발한 모델은 여성 목소리에서도 똑같이 잘 수행되며 모델이 특별히 더 종교적인 언어를 생성하는 쪽으로 편향되지는 않습니다. 연구원들은 이것이 주로 그들이 사용한 연결주의 시간 분류 방법 때문이라고 밝혔는데, 이는 LLM(대형 언어 모델)이나 더 제한적인 시퀀스-투-시퀀스 음성 인식 모델보다 훨씬 우수합니다.

잠재적인 성별 편견 상황 분석. FLEURS 벤치마크에서 MMS(Multilingual Speech) 데이터세트로 훈련된 이 자동 음성 인식 모델은 남성과 여성 음성에 대해 유사한 오류율을 나타냅니다.

머신러닝 알고리즘에서 사용할 수 있도록 데이터의 품질을 향상시키기 위해 몇 가지 전처리 방법도 사용합니다. 먼저 그들은 100개 이상의 언어로 작성된 기존 데이터에 대한 정렬 모델을 훈련한 다음 이를 20분 이상의 매우 긴 녹음을 처리할 수 있는 효율적인 강제 정렬 알고리즘과 결합했습니다. 그 후 여러 차례의 정렬 프로세스를 거친 후 교차 검증 필터링의 마지막 단계가 수행되어 모델 정확도를 기반으로 잠재적으로 잘못 정렬된 데이터를 제거합니다. 다른 연구자들이 새로운 음성 데이터 세트를 쉽게 생성할 수 있도록 Meta는 PyTorch에 정렬 알고리즘을 추가하고 정렬 모델을 출시했습니다.

보편적으로 사용 가능한 지도 음성 인식 모델을 훈련하려면 언어당 32시간의 데이터만으로는 충분하지 않습니다. 따라서 그들의 모델은 자기지도 음성 표현 학습에 대한 이전 연구인 wav2vec 2.0을 기반으로 개발되었으며, 이는 훈련에 필요한 레이블이 지정된 데이터의 양을 크게 줄일 수 있습니다. 특히 연구원들은 1,400개 이상의 언어로 된 약 500,000시간의 음성 데이터를 사용하여 자기 지도 모델을 훈련시켰습니다. 이는 이전 연구보다 5배 이상 많은 언어입니다. 그런 다음 특정 음성 작업(예: 다국어 음성 인식 또는 언어 인식)을 기반으로 연구원은 결과 모델을 미세 조정합니다.

Results

연구원들은 일부 기존 벤치마크를 통해 새로 개발된 모델을 평가했습니다.

다국어 음성 인식 모델 훈련에는 10억 개의 매개변수가 있는 wav2vec 2.0 모델이 사용되며 훈련 데이터 세트에는 1,100개 이상의 언어가 포함되어 있습니다. 언어 수가 증가함에 따라 모델 성능은 감소하지만 그 감소는 매우 적습니다. 언어 수가 61에서 1107로 증가하면 문자 오류율은 0.4%만 증가하지만 언어 적용 범위는 더 많이 증가합니다. 18배 이상.

61개 FLEURS 언어에 대한 벤치마크 테스트에서 언어 수가 증가함에 따라 문자 오류율이 변경됩니다. 오류율이 높을수록 모델이 나빠집니다.

OpenAI의 Whisper 모델을 비교한 결과, 연구원들은 OpenAI의 Whisper 모델의 단어 오류율이 Whisper의 절반에 불과한 반면 새 모델은 11배 더 많은 언어를 지원한다는 것을 발견했습니다. 이 결과는 새로운 방법의 뛰어난 기능을 보여줍니다.

54개 FLEURS 언어에 대한 직접 비교 벤치마크에서 OpenAI Whisper와 MMS 간의 단어 오류율을 비교합니다.

다음으로 Meta 연구원들은 이전의 기존 데이터 세트(예: FLEURS 및 CommonVoice)와 새로운 데이터 세트를 사용하여 언어 식별(LID) 모델을 훈련하고 FLEURS LID 작업에서 이를 평가했습니다. 결과에 따르면 새 모델은 뛰어난 성능을 발휘할 뿐만 아니라 40배 더 많은 언어를 지원하는 것으로 나타났습니다.

이전 연구에서도 VoxLingua-107 벤치마크에서는 100개 이상의 언어만 지원한 반면 MMS는 4000개 이상의 언어를 지원합니다.

또한 Meta는 1100개 언어를 지원하는 텍스트 음성 변환 시스템도 구축했습니다. 현재 텍스트 음성 변환 모델의 훈련 데이터는 일반적으로 단일 화자의 음성 코퍼스입니다. MMS 데이터의 한 가지 한계는 많은 언어의 화자 수가 적고 화자가 한 명인 경우가 많다는 것입니다. 하지만 이것이 텍스트 음성 변환 시스템을 구축할 때 장점이 되었기 때문에 메타는 1,100개 이상의 언어를 지원하는 TTS 시스템을 구축했습니다. 연구원들은 이러한 시스템에서 생성된 음성 품질이 실제로 상당히 좋다고 말하며, 아래에 몇 가지 예가 나와 있습니다.

Yoruba, Iroko 및 Maithili 언어에 대한 MMS 텍스트 음성 변환 모델 시연.

그러나 연구자들은 AI 기술이 아직 완벽하지 않다고 말합니다. MMS도 마찬가지입니다. 예를 들어, MMS는 음성을 텍스트로 변환하는 동안 선택한 단어나 구를 잘못 표기할 수 있습니다. 이로 인해 출력에 불쾌감을 주거나 부정확한 언어가 포함될 수 있습니다. 연구원들은 책임감 있는 개발을 위해 AI 커뮤니티와 협력하는 것이 중요하다고 강조했습니다.

단일 모델로 천 단어의 가치를 뒷받침합니다

전 세계의 많은 언어가 멸종 위기에 처해 있으며 현재 음성 인식 및 음성 생성 기술의 한계로 인해 이러한 추세는 더욱 가속화될 것입니다. 연구원은 블로그에서 다음과 같이 상상했습니다. 기술은 사람들이 자신의 언어를 유지하도록 장려할 수 있습니다. 좋은 기술을 사용하면 좋아하는 언어를 사용하여 정보를 얻고 기술을 사용할 수 있기 때문입니다.

그들은 MMS 프로젝트가 이 방향에서 중요한 단계라고 믿습니다. 그들은 또한 이 프로젝트가 계속 개발되어 앞으로 더 많은 언어를 지원할 것이며 방언과 억양의 문제까지 해결할 것이라고 말했습니다.

위 내용은 Meta는 성경을 사용하여 초다국어 모델을 훈련합니다: 1107개 언어를 인식하고 4017개 언어를 식별합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!