Zuoyebang 음성 기술 실습

게스트 | Wang Qiangqiang

편집 | Liu Yuyao

51CTO가 주최한 지난 AISummit 글로벌 인공 지능 기술 컨퍼런스에서 Zuoyebang의 음성 팀장 Mr. Wang Qiangqiang이 "Zuoyebang 음성 기술 실습"을 선보였습니다. 청중은 음성 합성, 음성 평가, 음성 인식의 세 가지 측면에서 Zuoyebang의 음성 기술 실천을 설명했습니다. 내용은 음성 인식의 효율적인 데이터 활용, 동시성 시나리오에서의 음성 발음 오류 수정을 다루었습니다. , 모델의 요인 차별화 및 간섭 방지 능력이 향상되었습니다.

음성 기술에 관심이 있는 더 많은 학생들이 음성 기술의 현재 개발 동향과 첨단 기술 사례를 이해할 수 있도록 Wang Qiangqiang 선생님의 연설 내용을 다음과 같이 정리하여 여러분에게 영감을 드리고자 합니다.

1. 음성 합성

작은 데이터 볼륨 음성 합성

전통적인 음성 합성 기술의 경우, 사람의 목소리를 완전히 합성하려면 녹음하는 데 10시간 이상이 걸립니다. 이는 리코더에게 큰 도전이며, 이렇게 오랫동안 좋은 발음을 유지할 수 있는 사람은 거의 없습니다. 작은 데이터 볼륨의 음성 합성 기술을 통해 수십 개의 문장과 녹음기가 말하는 몇 분의 음성만 사용하면 완전한 음성 합성 효과를 얻을 수 있습니다.

소용량 음성합성 기술은 크게 두 가지로 나누어집니다. 하나는 주석과 음성이 일치하지 않는 상황에 대한 것입니다. 두 가지 주요 처리 방법이 있습니다. 하나는 자기 지도 알고리즘을 사용하여 모델링 단위와 오디오 간의 일치성을 얻은 다음 주석을 사용하는 것입니다. 두 번째는 ASR을 통해 라벨이 지정되지 않은 말뭉치를 식별하고 TTS를 사용하여 이중 기능과 이중 학습 방법을 합성하여 점차적으로 TTS의 합성 효과를 향상시키는 것입니다.

텍스트 및 오디오 매칭의 주요 처리 방법도 두 가지 유형으로 나뉩니다. 하나는 주석이 달린 코퍼스를 사용하여 다국어 사전 학습 모델을 구축하는 것입니다. 다른 하나는 이 솔루션을 기반으로 합니다. 동일한 언어를 사용하는 여러 명의 화자가 주석이 달린 데이터로 사전 훈련되고, 대상 화자의 데이터를 사용하여 원하는 효과를 달성하기 위해 Finetune이 수행됩니다.

음성합성 기술 프레임워크

Zuoyebang의 음성합성 기술 프레임워크는 음소 부분에 FastSpeech2를 사용하고 있습니다. FastSpeech2는 빠른 합성 속도라는 주요 장점을 가지고 있습니다. 동시에 FastSpeech2는 Duration, Pitch 및 Energy Predictor를 통합하여 보코더 선택에 있어 더 큰 작동 공간을 제공할 수 있으며, 이는 음성 팀이 Multi를 선택하는 데 도움이 됩니다. -Band MelGAN을 사용하는 이유는 Multi-Band MelGAN이 합성 효과가 좋고 속도가 매우 빠르기 때문이다.

다중화자 음성합성

기본 프레임워크를 결정했다면 다음으로 할 일은 다중화자 음성합성입니다. 다중 화자 음성 합성에 대한 일반적인 아이디어는 스피커 임베딩 정보를 인코더에 추가하고, 특정 화자의 정보를 학습한 다음, 모델을 사용하여 다중 화자 음성 합성 모델을 훈련하는 것입니다. 마지막으로 특정 스피커를 사용하여 간단한 Finetune을 수행합니다. 이 솔루션을 사용하면 10시간 분량의 녹음을 1시간 정도로 압축할 수 있지만, 실제로는 모델 훈련 기준을 충족할 수 있는 1시간 분량의 녹음을 수집하기가 여전히 어렵습니다. 작은 데이터 음성 합성의 목표는 본질적으로 상대적으로 좋은 사운드를 합성하기 위해 더 적은 수의 사운드를 사용하는 것입니다.

그래서 Zuoyebang 음성팀은 M2VOC 대회에서 우승한 솔루션을 통해 교훈을 얻었으며 마침내 D-Vector와 ECAPA 기반 스피커 임베딩의 조합을 선택하고 스피커 임베딩 업그레이드를 포함한 3가지 업그레이드를 수행했습니다. FastSpeech2에서 Conformer에 사용하고 LayerNorm에 스피커 정보를 추가합니다.

2. 음성 평가

음성 평가 기술 프레임워크

Zuoyebang 음성 평가의 기본 기술 프레임워크는 기본적으로 GOP 채점을 사용하여 사용자의 단어 또는 문장 발음을 판단합니다. 하지만 모델 측면에서는 완전한 엔드투엔드 모델 훈련 프로세스인 Conformer 및 CGC+attention-based로 업그레이드되었습니다. GOP는 소리와 음소, 즉 모델링 단위의 정렬 정도에 크게 의존하므로 모델 학습 시 GMM 모델을 통해 얻은 코퍼스의 정렬 정보를 추가했습니다. 완벽하게 인증된 모델과 정렬된 해당 정보를 통해 두 가지의 장점을 결합하면 GOP 점수가 상대적으로 정확하도록 매우 효과적인 모델을 학습할 수 있습니다.

평가 시스템의 문제 및 문제점

평가 시나리오는 본질적으로 지연 시간에 민감하므로 지연 시간과 네트워크는 GOP 평가 시스템 구현에 있어 두 가지 주요 문제입니다. 지연 시간이 길고 실시간 성능이 좋지 않으면 전반적인 사용자 경험에 큰 영향을 미칩니다. 또한, 네트워크에 문제가 발생하여 사용자의 네트워크 환경이 변동하는 경우 네트워크 지연과 함께 사용자가 인지하는 컬러링 시간이 1초를 초과하기 쉬우며 이는 매우 명백한 정체감을 유발하여 심각한 영향을 미칠 수 있습니다. 전체 코스 효과.

해결 방향 - 알고리즘

위의 문제에 대해 Chunk Mask를 통해 지연 및 메모리 과잉 문제를 알고리즘적으로 해결할 수 있습니다. 청크는 앞으로 최대 2프레임, 뒤로 최대 5프레임을 찾아 지연 문제를 해결합니다.

실제 알고리즘을 실제로 테스트했을 때 하드 지연은 약 50밀리초에 불과했습니다. 즉, 기본적으로 50밀리초 안에 단어가 활성화된다는 의미입니다. 50밀리초는 인간의 인식으로는 매우 빠릅니다. 따라서 적어도 알고리즘 수준에서는 하드 지연 문제가 해결됩니다. 이것이 우리가 하는 일의 첫 번째 수준입니다.

해결방향 - 통합단말과 클라우드 플랫폼

통합단말과 클라우드 플랫폼은 높은 동시성과 네트워크 전송으로 인한 문제를 해결할 수 있습니다. 이 플랫폼은 사용자의 휴대폰에 충분한 컴퓨팅 성능이 있는지 자동으로 판단할 수 있습니다. 충분한 경우 현지 리뷰가 우선적으로 적용됩니다. 컴퓨팅 성능이 충분하지 않은 경우 요청이 클라우드로 전송되고 클라우드가 평가를 수행합니다. 국부적으로 문제가 발생하면 수명주기도 제어됩니다.

이 솔루션을 통해 순간적인 높은 동시성으로 인해 발생하는 문제를 해결했습니다. 컴퓨팅 성능의 일부가 최종적으로 전달되기 때문에 클라우드는 원래 머신의 20%만 유지하면 정상적인 작동이 이루어지므로 많은 비용이 절감됩니다. 돈. 또한 알고리즘을 현지화한 후 지연 문제도 해결되어 대규모 평가 작업을 효과적으로 지원하고 사용자에게 더 나은 시청각 경험을 제공할 수 있습니다.

발음 오류 교정

발음 오류 교정이 요구되는 배경에는 문맥상의 문제와 교육 자원의 부족이 있습니다. 마찬가지로 이러한 문제점도 평가 기술을 사용하여 해결할 수 있습니다. 평가 기술을 최적화하여 발음이 올바른지 판단하고, 발음에 문제가 있는 부분을 파악할 수 있습니다.

기술 선택 측면에서 평가 시스템은 GOP 기반의 안정적인 평가 방식이지만 GOP 방식은 오디오 및 모델링 단위의 정렬에 크게 의존하므로 시작 시간이 정확하지 않으면 편차가 더 커지고 차별화가 더욱 떨어지게 됩니다. 따라서 원래 계획은 이러한 종류의 사운드 보정 시나리오에 적합하지 않습니다. 더욱이, GOP의 아이디어는 발음을 교정하고 안내하기 위해 전문 지식을 사용하는 것입니다. 발음 교정에서 발음을 누락하고 추가하는 것은 GOP가 처리하기 매우 고통스럽고 너무 많은 수동 지원이 필요합니다. 이를 위해서는 보다 유연한 솔루션이 필요하므로 결국 발음 오류 수정을 위해 ASR 솔루션을 선택했습니다.

ASR 솔루션의 가장 큰 장점은 훈련 과정이 간단하고 정렬 정보가 너무 많이 필요하지 않다는 것입니다. 발음이 틀리더라도 문맥상 음소 판별에는 큰 영향을 미치지 않습니다. ASR은 추가 판독 및 누락된 판독을 처리하며 자연스러운 이론적, 기술적 이점을 가지고 있습니다. 그래서 우리는 마침내 발음 오류 교정을 위한 기술 기반으로 순수 엔드투엔드 ASR 모델을 선택했습니다.

동시에 Zuoyebang은 이를 기반으로 일부 최적화 및 혁신 작업도 수행했습니다. 첫째, Attention 모듈을 통해 모델 학습에 사전 텍스트 정보가 추가됩니다. 둘째, 오류 수정 기능을 갖도록 모델을 학습하기 위해 오류를 시뮬레이션합니다. 셋째, 모델이 충분히 차별화되지 않았기 때문에 오류가 계층화됩니다. , 일부 사소한 오류는 잘못된 것으로 판단되지 않습니다. 위의 솔루션을 통해 마침내 오경보율이 크게 감소하는 동시에 회상률 손실이 특별히 크지 않도록 하고 진단의 정확도도 향상되었습니다.

3. 음성 인식

음성 인식 기술 프레임워크

Zuoyebang의 음성 인식 기술 프레임워크는 기존 HMM-GMM/DNN 솔루션에 비해 매우 분명한 장점이 있습니다. 복잡한 클러스터링 작업과 정렬 작업이 많습니다. 둘째, 훈련 과정이 약간 더 간단합니다. 셋째, 엔드투엔드 프레임워크에서는 발음 사전을 수동으로 생성할 필요가 없습니다. 넷째, 음소 정보와 시퀀스 정보를 동시에 학습할 수 있습니다. , 이는 음향학을 함께 배우는 것과 같습니다. 모델, 언어 모델.

물론, 엔드투엔드 모델은 초기에 더 많은 음성이나 텍스트 데이터를 활용하기 어렵고 코퍼스를 라벨링하는 데 드는 비용도 매우 높습니다. 우리의 요구 사항은 내부 선택이 엔드 투 엔드 생성 모델을 보유하고 최신 알고리즘을 유지하며 코퍼스 모델 정보를 융합할 수 있다는 목표를 달성해야 한다는 것입니다.

음성인식 시스템 알고리즘

CTC-CRF에 관해서라면 먼저 CTC를 알아야 합니다. CTC는 전체 문장을 모델링하기 위해 탄생했습니다. CTC 등장 이후 전체 문장의 음향 모델을 훈련하려면 더 이상 음소와 오디오 간의 정렬이 필요하지 않습니다. 한편, CTC의 토폴로지는 실제 효과적인 모델링 단위 외부의 침묵을 흡수할 수 있는 공백을 도입하여 침묵을 흡수합니다. 반면, 전체 문장의 확률을 계산할 때는 π를 기반으로 한 동적 프로그래밍 알고리즘을 사용하여 전체 문장의 경로를 비교적 합리적인 척도 내로 유지하므로 계산량을 크게 줄일 수 있습니다. 이것은 CTC의 매우 획기적인 작업입니다.

Zuoyebang 내부에서 사용하는 CTC-CRF 음성 인식 시스템입니다. 공식을 이해하고 CRF를 통해 전체 문장의 확률을 맞춰보세요. 전체 문장의 확률은 입력이 X이고 출력이 π인 시퀀스(π는 위의 CTC 토폴로지로 표현됨)이므로 CTC-CRF라고 합니다.

CRF에서 가장 중요한 것은 잠재 기능과 잠재 기능의 전체 계획입니다. 잠재적 함수는 입력이 X이고 출력이 πt인 조건부 확률에 전체 문장의 확률을 더한 것입니다. 이는 실제로 CRF의 노드와 가장자리에 해당합니다.

CTC-CRF는 일반적으로 사용되는 음향 모델 아이디어와 다소 다릅니다. 일반적으로 사용되는 음향 모델에는 다음과 같은 네 가지 DNN-HMM, CTC, RNNT 및 AED가 포함됩니다.

RNNT의 기본 조건부 확률 모델은 입력 X와 출력 Y의 확률입니다. 피팅 목표는 maxθ와 이 확률을 최대화하는 매개변수입니다.

CTC는 그림에 나와 있습니다. CTC의 한 가지 가정은 조건부 독립 가정이며, 상태 사이에는 연관성이 없으며 둘 사이의 조건부 확률 관계는 고려되지 않습니다.

RNNT는 그림에서 명확하게 볼 수 있듯이 현재 상태와 모든 과거 상태의 조건부 확률을 고려합니다. 현재 상태와 과거 상태의 조건부 확률을 고려하는 AED의 경우도 마찬가지이다.

그러나 CTC-CRF는 실제로 조건부 확률에 기반한 지역 정규화 모델이 아니라 전체 문장 정규화 모델이자 전역 정규화 모델입니다. 그래서 우리는 이것이 역사에만 의존하는 것이 아니라, 실제로 전체 문장의 확률 정보를 고려할 수 있다는 것을 알 수 있습니다. 이것이 가장 큰 이론적 차이점입니다.

현재 사용되는 표준 인코더 및 디코더인 Loss 레이어에서 CTC-CRF를 먼저 사용한 다음, CTC-CRF와 Loss를 추가하여 음향 모델을 학습시키는 end-to-end 음향 모델 프로세스입니다. 손실 레이어는 원래 CTC 손실 대신 CTC-CRF 손실을 사용합니다. CTC-CRF는 Phone 수준에서 모델링되었지만 여기 Attention에서는 Word 수준 모델링을 염두에 두고 Attention이 만들어졌습니다. 전화 및 단어 수준의 두 가지 기능을 사용하여 모델을 학습합니다.

마지막으로 구체적인 효과와 관련하여 이는 Aishell1 테스트 세트에 대한 여러 오픈 소스 도구의 효과이며 매개변수 수도 표시됩니다. CTC-CRF를 기반으로 한 것이 상대적으로 장점이 있음을 알 수 있다.

알고리즘을 사용하면 이론적 효과도 매우 좋습니다. 비즈니스 측면과 결합하면 비즈니스 측면은 여전히 ​​다르지만 모든 비즈니스 측면은 최적의 효율성을 달성하려는 공통된 욕구를 가지고 있습니다. 이 문제를 해결하기 위해 핫워드 솔루션이 있다. 핫워드 솔루션은 이러한 문제를 완벽하게 해결하고, 비즈니스 측에서 식별하고자 하는 단어를 빠르게 식별할 수 있습니다.

일반적인 핫워드 솔루션은 핫워드의 확장된 방향 그래프를 TLG에 추가하는 것입니다. 위 그림은 일반적인 3레벨 Ngram의 WFST 디코딩 다이어그램입니다. 실선은 조건부 확률을 나타내고 점선은 백오프 확률을 나타냅니다.

Zhuoyebang의 솔루션은 접두사 오토마타를 기반으로 한 핫 워드 솔루션입니다. 핫 워드의 규모가 너무 커서 효율성 병목 현상이 발생하기 때문입니다. 다중 패턴 문자열 일치 문제를 해결하기 위해 접두사 오토마타를 사용하는 것이 매우 적합합니다. 특히 핫 단어 목록에서 핫 단어를 치거나 덮거나 덮는 문자열의 경우 더욱 그렇습니다. sher와 같은 시퀀스는 두 개의 핫 단어, 즉 she와 her를 포함합니다. 이 접두사 자동 체계에서는 she를 검색한 후 바로 그녀로 이동할 수 있으며 문자열에 포함된 여러 핫 단어를 빠르게 찾을 수 있습니다. 결론은 이 솔루션이 충분히 빠르며 일부 저장 공간을 절약할 수 있다는 것입니다.

이 솔루션을 실제로 사용할 때도 몇 가지 문제가 있습니다. 접두사 트리를 구축하려면 여전히 전체 접두사 트리를 탐색해야 하며 이는 상대적으로 비용이 많이 듭니다. 핫워드는 실시간으로 추가되어야 하기 때문에 언제든지 추가할 수 있고 언제든지 효과를 발휘할 수 있습니다. 이 문제를 해결하기 위해 우리는 마침내 하나 또는 두 개의 트리를 만들었습니다. 하나는 일반 접두사 트리이고 다른 하나는 일반 접두사 트리에 사용자 핫 단어가 추가됩니다. 즉시 온라인 상태에 있는 것과 동일한 효과를 얻으며 핫 워드를 활성화할 수 있습니다. 임계값을 초과하면 접두사 자동 장치가 자동으로 구성되므로 기본적으로 사용자 그룹의 요구 사항을 충족합니다.

4. 요약

위는 주로 세 방향을 통해 각 방향마다 1~2점씩 기술적인 복호화 방법을 통해 Zuoyebang 음성 기술의 구현과 구현 과정에서 발생하는 문제를 정리하고 최종적으로 세트를 출력하는 방법입니다. 비즈니스 측면의 요구를 상대적으로 충족할 수 있는 솔루션입니다.

하지만 이 세 가지 점 외에도 성악 그룹은 목소리의 원자 능력도 많이 축적했습니다. 평가 수준은 매우 상세하며, 읽기 증가, 읽기 누락, 연속 읽기, 유성, 억양, 억양 상승 및 하강까지 모두 수행됩니다. 인식에는 중국어와 영어 혼합 인식, 성문, 소음 감소, 연령 차별도 추가됩니다.

이러한 원자적 기능을 통해 알고리즘 수준은 비즈니스 측면을 지원하고 서비스하는 데 더욱 편리해질 것입니다.

손님 소개:

Zuoyebang 음성 기술 팀장 Wang Qiangqiang. Zuoyebang에 합류하기 전에는 칭화대학교 전자공학과 음성 처리 및 기계 지능 연구실에서 음성 인식 알고리즘 구현 및 산업용 솔루션 구축을 담당했습니다. 2018년 Zuoyebang에 합류하여 음성 관련 알고리즘의 연구 및 구현을 담당하고 있으며 Zuoyebang에서 음성 인식, 평가, 합성 및 기타 알고리즘의 구현을 주도하여 회사에 완전한 음성 기술 솔루션 세트를 제공했습니다.

위 내용은 Zuoyebang 음성 기술 실습의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!