Cara membina sistem sintesis pertuturan berprestasi tinggi dengan perwakilan pertuturan padat

Pasukan Algoritma Pintar Multimedia Xiaohongshu dan Universiti China Hong Kong bersama-sama mencadangkan skim sintesis pertuturan berprestasi tinggi MSMC-TTS berdasarkan perwakilan pertuturan padat buku kod berbilang peringkat untuk kali pertama. Penganalisis ciri berdasarkan pengekod auto variasi terkuantiti vektor (VQ-VAE) menggunakan beberapa buku kod untuk mengekod ciri akustik secara berperingkat untuk membentuk satu set jujukan terpendam dengan resolusi temporal yang berbeza. Urutan terpendam ini boleh diramalkan daripada teks oleh peramal berbilang peringkat dan ditukar kepada audio sasaran oleh vocoder saraf. Berbanding dengan sistem garis dasar Fastspeech berasaskan Mel-Spectrogram, penyelesaian ini mempunyai peningkatan ketara dalam kualiti bunyi dan semula jadi. Kerja ini kini telah diringkaskan ke dalam kertas kerja "Pendekatan VQ-VAE Multi-Stage Multi-Codebook VQ-VAE to High-Performance Neural TTS" dan telah diterima oleh persidangan domain pertuturan INTERSPEECH 2022.

1. Pengenalan latar belakang

Text-to-Speech (TTS) ialah teknologi yang menukar teks kepada pertuturan Ia digunakan secara meluas dalam pengalih suara video dan penciptaan kandungan audio dan video -interaksi komputer dan produk lain. Teknologi pemodelan akustik bahagian belakang sistem sintesis pertuturan arus perdana biasanya merangkumi tiga bahagian: pengekstrak ciri, model akustik dan vocoder. TTS biasanya melakukan pemodelan akustik pada ciri akustik yang diperoleh berdasarkan pemprosesan isyarat (seperti Mel Spectrogram Walau bagaimanapun, terhad oleh keupayaan pemasangan model, terdapat perbezaan tertentu dalam pengedaran antara ciri akustik yang diramalkan dan data sebenar This This). menyukarkan vocoder yang dilatih pada data sebenar untuk menjana audio berkualiti tinggi daripada ciri yang diramalkan.

Rajah rangka kerja sistem TTS

Untuk menangani masalah ini, ahli akademik penggunaan komuniti Struktur model yang lebih kompleks dan algoritma generatif yang lebih baru digunakan untuk mengurangkan ralat ramalan dan perbezaan pengedaran. Kerja ini mengambil pendekatan yang berbeza, mengambil perwakilan ucapan padat sebagai titik permulaan untuk mempertimbangkan masalah. Untuk sintesis pertuturan, 1) kekompakan ciri akustik yang baik dapat memastikan hasil ramalan model yang lebih tepat dan penjanaan bentuk gelombang yang lebih mantap 2) kesempurnaan ciri akustik yang baik dapat memastikan pembinaan semula isyarat pertuturan yang lebih baik. Berdasarkan kedua-dua pertimbangan ini, kertas kerja ini mencadangkan untuk menggunakan autoenkoder variasi kuantisasi vektor (VQ-VAE) untuk melombong perwakilan padat yang lebih baik daripada data sasaran.

2. Pembelajaran Perwakilan MSMC VQ-VAE

VQ-VAE termasuk pengekod dan penyahkod. Pengekod memproses jujukan ciri akustik input ke dalam jujukan terpendam dan mengkuantisasikannya menggunakan buku kod yang sepadan. Penyahkod memulihkan urutan terkuantasi kepada urutan ciri akustik asal. Urutan terkuantasi ini mempunyai kekompakan yang lebih baik (kurang bilangan parameter ciri) sebagai perwakilan diskret. Semakin tinggi tahap pengkuantitian, iaitu, semakin kecil kapasiti buku kod, semakin tinggi kekompakan ciri. Tetapi ini juga mengakibatkan pemampatan maklumat, menjadikan kesempurnaan ciri lebih teruk. Untuk memastikan kesempurnaan yang mencukupi, lebih banyak kata kod biasanya digunakan. Walau bagaimanapun, apabila kapasiti buku kod meningkat, jumlah data yang diperlukan untuk kemas kini buku kod dan bilangan masa latihan akan meningkat secara eksponen, yang menyukarkan VQ-VAE untuk meningkatkan kesempurnaan perwakilan secara berkesan dengan meningkatkan buku kod. Untuk menangani masalah ini, makalah ini mencadangkan kaedah pengkuantitian vektor berbilang kepala (MHVQ).

Rajah struktur model VQ-VAE

MHVQ akan menjadi satu buku kod Ia dibahagikan kepada beberapa buku kod kecil mengikut arah dimensi ciri. Semasa pengkuantitian, setiap vektor input dipotong sama kepada beberapa sub-vektor, masing-masing dikuantisasi dengan buku kod yang sepadan, dan akhirnya disambung menjadi vektor keluaran. Dengan cara ini, kami boleh meningkatkan penggunaan buku kod dan kapasiti perwakilan dengan lebih berkesan tanpa meningkatkan jumlah parameter buku kod. Contohnya, untuk mengurangkan kadar mampatan dengan faktor 1, kata kod mesti ditingkatkan kepada kuasa dua nombor buku kod asal. Selepas menggunakan MHVQ, kadar mampatan yang sama boleh dicapai dengan hanya membahagikan buku kod kepada dua bahagian. Oleh itu, kaedah ini boleh mengawal kesempurnaan perwakilan kuantitatif dengan lebih berkesan.

Gambar rajah contoh MHVQ

Selain itu, apabila mengkuantisasi urutan pertuturan , semua jenis maklumat yang terkandung dalam ciri pertuturan hilang ke tahap yang berbeza-beza. Maklumat ini berbeza dalam butiran masa, seperti timbre berbutir kasar, gaya sebutan, dsb., dan pic berbutir halus, butiran sebutan, dsb. Maklumat yang terlalu memampatkan pada sebarang skala masa boleh menyebabkan beberapa tahap kemerosotan dalam kualiti pertuturan. Untuk mengurangkan masalah ini, kerja ini mencadangkan kaedah pemodelan pertuturan skala berbilang masa. Seperti yang ditunjukkan dalam rajah, jujukan ciri akustik dikodkan secara berperingkat kepada skala masa yang berbeza melalui beberapa pengekod, dan kemudian dikuantisasi lapisan demi lapisan melalui penyahkod, penyahkodan untuk mendapatkan beberapa jujukan terkuantisasi dengan resolusi masa yang berbeza. Perwakilan yang terdiri daripada set jujukan jenis ini ialah perwakilan buku kod berbilang peringkat yang dicadangkan dalam kerja ini.

Gambar rajah contoh pemodelan berbilang peringkat

3. Pemodelan akustik MSMC-TTS

Untuk pelbagai peringkat Multi-codebook mencirikan MSMCR, dan kertas ini mencadangkan sistem TTS yang sepadan, iaitu sistem MSMC-TTS. Sistem ini merangkumi tiga bahagian: analisis, sintesis dan ramalan. Dalam latihan sistem, sistem terlebih dahulu melatih modul analisis. Audio dalam set latihan ditukar kepada ciri akustik berkelengkapan tinggi (seperti ciri Mel-Spectrogram yang digunakan dalam kerja ini) selepas pemprosesan isyarat. Ciri akustik ini digunakan untuk melatih penganalisis ciri berdasarkan MSMC-VQ-VAE Pada akhir latihan, ia ditukar kepada MSMCR yang sepadan, dan kemudian model akustik dan vocoder saraf dilatih. Semasa penyahkodan, sistem menggunakan model akustik untuk meramalkan MSMCR daripada teks dan kemudian menggunakan vocoder saraf untuk menghasilkan audio sasaran.

Rajah rangka kerja sistem MSMC-TTS

Kerja ini juga mencadangkan Peramal pelbagai peringkat untuk menyesuaikan pemodelan MSMCR. Model ini dilaksanakan berdasarkan FastSpeech, tetapi berbeza pada bahagian penyahkod. Model mula-mula mengekod teks dan menambah sampel teks berdasarkan maklumat jangka masa yang diramalkan. Urutan itu kemudiannya diturunkan sampel kepada setiap resolusi masa yang sepadan dengan MSMCR. Urutan ini akan dinyahkod dan dikuantisasikan langkah demi langkah daripada resolusi rendah kepada resolusi tinggi oleh penyahkod yang berbeza. Pada masa yang sama, jujukan terkuantisasi resolusi rendah dihantar ke penyahkod peringkat seterusnya untuk membantu ramalan. Akhirnya, MSMCR yang diramalkan dimasukkan ke dalam vocoder saraf untuk menjana audio sasaran.

Rajah struktur peramal berbilang peringkat

Untuk peramal pelbagai peringkat Apabila melakukan latihan dan inferens, kerja ini memilih untuk meramalkan secara langsung perwakilan sasaran dalam ruang berterusan. Kaedah ini boleh mengambil kira hubungan jarak antara vektor dan kata kod dengan lebih baik dalam ruang selanjar linear. Selain fungsi kehilangan MSE yang biasa digunakan untuk pemodelan TTS, kriteria latihan juga menggunakan "kehilangan triplet" untuk memaksa vektor ramalan menjauhi kata kod bukan sasaran dan lebih dekat dengan kata kod sasaran. Dengan menggabungkan dua istilah fungsi kehilangan, model dapat meramalkan kata kod sasaran dengan lebih baik.

4. Keputusan eksperimen

Kerja ini dijalankan pada set data penutur tunggal bahasa Inggeris Nancy (Blizzard Challenge 2011). Kami menganjurkan ujian skor pendapat subjektif (MOS) untuk menilai kesan sintesis MSMC-TTS. Keputusan eksperimen menunjukkan bahawa apabila rakaman asal ialah 4.50 mata, skor MSMC-TTS ialah 4.41 mata, dan sistem garis dasar Mel-FS (FastSpeech berasaskan Mel-Spectrogram) ialah 3.62 mata. Kami menala vokoder sistem garis dasar agar sepadan dengan ciri keluaran Mel-FS, dan hasilnya ialah 3.69 mata. Hasil perbandingan ini membuktikan peningkatan ketara sistem TTS yang dicadangkan oleh kaedah yang dicadangkan dalam artikel ini.

Selain itu, kami terus membincangkan kesan kerumitan pemodelan terhadap prestasi TTS. Bilangan parameter model berkurangan secara eksponen daripada M1 kepada M3, dan kesan sintesis Mel-FS menurun kepada 1.86 mata. Sebaliknya, untuk MSMC-TTS, pengurangan bilangan parameter tidak mempunyai kesan yang ketara ke atas kualiti sintesis. Apabila saiz parameter model akustik ialah 3.12 MB, MOS masih boleh mengekalkan 4.47 mata. Ini bukan sahaja menunjukkan keperluan kerumitan rendah pemodelan MSMC-TTS berdasarkan ciri padat, tetapi juga menunjukkan potensi kaedah ini untuk digunakan pada sistem TTS ringan.

Akhir sekali, kami menjalankan perbandingan MSMC-TTS berdasarkan MSMCR yang berbeza untuk meneroka kesan MHVQ dan pemodelan pelbagai peringkat pada TTS . Antaranya, sistem V1 menggunakan perwakilan buku kod tunggal peringkat, sistem V2 menggunakan kuantiti vektor 4 kepala berdasarkan V1, dan sistem V3 menggunakan pemodelan dua peringkat berdasarkan V2. Pertama, perwakilan yang digunakan oleh sistem V1 mempunyai nisbah mampatan ciri tertinggi, tetapi mempamerkan kesempurnaan terendah dalam eksperimen sintesis analisis dan kualiti sintesis paling teruk dalam eksperimen TTS. Selepas MHVQ mempertingkatkan kesempurnaan, sistem V2 juga telah dipertingkatkan dengan ketara dalam kesan TTS. Walaupun perwakilan berbilang peringkat yang digunakan oleh V3 tidak menunjukkan peningkatan lagi dalam kesempurnaan, ia menunjukkan hasil terbaik pada TTS, dengan peningkatan ketara dalam kedua-dua keaslian berirama dan kualiti audio. Ini seterusnya menunjukkan bahawa pemodelan pelbagai peringkat dan pengekalan maklumat berbilang skala adalah sangat penting dalam MSMC-TTS.

5. Ringkasan

Kerja ini mencadangkan kaedah pemodelan TTS (MSMC-TTS) berprestasi tinggi baharu dari perspektif mengkaji perwakilan pertuturan padat. Sistem ini mengekstrak perwakilan buku kod berbilang peringkat daripada audio sebagai ganti ciri akustik tradisional. Teks input boleh ditukar kepada perwakilan pertuturan ini yang terdiri daripada berbilang jujukan dengan resolusi temporal yang berbeza oleh peramal berbilang peringkat dan ditukar kepada isyarat pertuturan sasaran oleh vocoder saraf. Keputusan eksperimen menunjukkan bahawa berbanding dengan sistem FastSpeech arus perdana berdasarkan Mel-Spectrogram, sistem ini mempamerkan kualiti sintesis yang lebih baik dan keperluan yang lebih rendah untuk kerumitan pemodelan.

6. Maklumat Pengarang

Guo Haohan: Pelatih dalam Pasukan Algoritma Pintar Multimedia Xiaohongshu. Beliau lulus dari Universiti Politeknik Barat Laut dengan ijazah sarjana muda dan belajar di makmal ASLP di bawah Profesor Xie Lei. Pada masa ini, beliau sedang belajar untuk Ph.D di Makmal HCCL Universiti Cina Hong Kong, belajar di bawah Profesor Meng Meiling. Setakat ini, sebagai pengarang pertama, enam kertas kerja telah diterbitkan di ICASSP, INTERSPEECH, dan persidangan ucapan antarabangsa SLT.

Xie Fenglong: Ketua teknologi suara Pasukan Algoritma Pintar Multimedia Xiaohongshu. Beliau telah menerbitkan lebih daripada sepuluh kertas dalam persidangan ucapan dan jurnal seperti ICASSP, INTERSPEECH, dan SPEECHCOM.

Atas ialah kandungan terperinci Cara membina sistem sintesis pertuturan berprestasi tinggi dengan perwakilan pertuturan padat. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!