Prinsip teras sintesis pertuturan pintar

Kaedah sintesis pertuturan parametrik statistik telah menarik perhatian meluas dalam bidang sintesis pertuturan kerana fleksibilitinya. Dalam beberapa tahun kebelakangan ini, aplikasi model rangkaian saraf dalam dalam bidang penyelidikan pembelajaran mesin telah mencapai kelebihan yang ketara berbanding dengan kaedah tradisional. Aplikasi kaedah pemodelan berdasarkan rangkaian saraf dalam sintesis pertuturan parametrik statistik telah semakin mendalam dan telah menjadi salah satu kaedah utama sintesis pertuturan.

Pemodelan akustik belakang untuk sintesis pertuturan parametrik statistik ialah subjek artikel ini.

Rangka kerja bahagian belakang sintesis pertuturan parametrik

Seperti yang ditunjukkan dalam rajah, rangka kerja bahagian belakang sintesis pertuturan parametrik diterangkan, yang terutamanya merangkumi dua peringkat: latihan dan sintesis.

Dalam fasa latihan, bentuk gelombang pertuturan dan ciri teks yang sepadan dalam perpustakaan bunyi digunakan sebagai input. Bentuk gelombang pertuturan diekstrak melalui vocoder dan digabungkan dengan ciri teks untuk pemodelan akustik.

Dalam peringkat sintesis, mengikut model akustik terlatih, ciri teks yang akan disintesis adalah input dan ciri akustik yang sepadan diramalkan. Ciri-ciri akustik yang diramalkan kemudiannya ditukar kepada bentuk gelombang pertuturan menggunakan vocoder. Vokoder dan model akustik ialah komponen utama dalam sistem sintesis pertuturan parametrik statistik.

Model penapis sumber penjanaan pertuturan digunakan untuk memisahkan spektrum pertuturan masa pendek ke dalam frekuensi asas dan sampul spektrum semasa proses parameterisasi bentuk gelombang pertuturan. Biasanya, kita memperoleh ciri-ciri pengujaan pertuturan dengan menganalisis bentuk gelombang domain masa atau harmonik domain frekuensi, dan kemudian mengeluarkan periodicity masa dan frekuensi daripada spektrum amplitud yang diperolehi oleh transformasi Fourier jangka pendek bagi bentuk gelombang pertuturan untuk mendapatkan pakej spektrum rangkaian ucapan. Kaedah ini boleh membantu kami memahami dan memproses isyarat pertuturan dengan lebih baik.

Disebabkan dimensi sampul spektrum yang lebih tinggi, pemodelan menjadi sukar, jadi selalunya perlu mengurangkan dimensi sampul spektrum. Membina semula bentuk gelombang pertuturan ialah proses terbalik untuk memulihkan pertuturan asal daripada parameter akustik pertuturan. Dengan diberikan frekuensi asas, sampul spektrum dan ciri pengujaan pertuturan, digabungkan dengan kekangan fasa yang sesuai, spektrum amplitud STFT boleh dibina semula.

Pemodelan tempoh ialah modul lain dalam sintesis pertuturan parametrik statistik. Pemodelan tempoh tidak memerlukan vocoder. Rangka kerja asas adalah serupa dengan pemodelan akustik. Model statistik digunakan untuk memodelkan taburan kebarangkalian panjang masa yang sepadan dengan ciri teks yang diberikan.

Selepas lebih 20 tahun pembangunan, kaedah sintesis pertuturan parameter statistik berasaskan HMM telah menjadi kaedah sintesis pertuturan matang.

Bahagian ini akan memperkenalkan model Markov tersembunyi dan asas teorinya. Digabungkan dengan kekangan fasa tertentu, spektrum amplitud STFT dibina semula. Pemodelan tempoh ialah modul lain dalam sintesis pertuturan parametrik statistik. Pemodelan tempoh tidak memerlukan vocoder. Rangka kerja asas adalah serupa dengan pemodelan akustik. Model statistik digunakan untuk memodelkan taburan kebarangkalian panjang masa yang sepadan dengan ciri teks yang diberikan. Selepas lebih daripada 20 tahun pembangunan, kaedah sintesis pertuturan parameter statistik berdasarkan HMM telah menjadi kaedah sintesis pertuturan yang matang.

Model Markov Tersembunyi ialah model kebarangkalian untuk jujukan pemodelan, yang terdiri daripada satu set pembolehubah keadaan tersembunyi dan satu set pembolehubah pemerhatian. Model HMM mempunyai dua andaian.

Pembolehubah keadaan mematuhi rantai Markov tertib pertama; iaitu, keadaan semasa hanya berkaitan dengan keadaan sebelumnya, seperti yang ditunjukkan dalam formula (1).

Taburan kebarangkalian pembolehubah yang diperhatikan pada masa tertentu hanya berkaitan dengan keadaan pada saat semasa dan tiada kaitan dengan keadaan atau pembolehubah yang diperhatikan pada saat lain, seperti ditunjukkan dalam Persamaan (2) .

Biasanya, dalam model HMM

bijak membentuk matriks peralihan keadaan A HMM, dan ketumpatan kebarangkalian

ialah:

Ia adalah diperhatikan bahawa kebarangkalian Output HMM:

Prinsip teras pemodelan akustik dalam kaedah sintesis pertuturan parametrik statistik berasaskan HMM ialah menggunakan model HMM untuk melaksanakan pemodelan kebarangkalian bagi jujukan ciri akustik dalam situasi yang diberikan.

Konfigurasi keseluruhan sistem termasuk pemilihan ciri akustik pertuturan, pemilihan unit pemodelan dan konfigurasi model HMM. Ciri akustik dalam sistem sintesis pertuturan termasuk ciri pengujaan dan ciri spektrum.

Dalam pemilihan ciri spektrum, untuk mengurangkan kesukaran pemodelan HMM, perwakilan spektrum dimensi rendah yang menghilangkan korelasi antara dimensi biasanya digunakan, seperti Mel cepstrum dan ciri pasangan spektrum garis. Memandangkan ciri pegun jangka pendek isyarat pertuturan dan keupayaan pemodelan HM, HMM dalam sistem sintesis pertuturan biasanya memodelkan unit peringkat fonem, seperti unit vokal dalam bahasa Cina. Disebabkan oleh ciri pemasaan pertuturan, topologi HMM dalam pemodelan audio selalunya merupakan keadaan lintasan sehala dari kiri ke kanan.

Rangka kerja sistem sintesis pertuturan parameter statistik berasaskan HMM

Angka tersebut menggambarkan rangka kerja sistem sintesis pertuturan parameter statistik berasaskan HMM. Ia dibahagikan kepada peringkat latihan dan peringkat komprehensif. Fasa latihan termasuk pengekstrakan ciri akustik pertuturan dan latihan model HMM. Oleh kerana model HMM menggunakan fonem sebagai unit pemodelan, tiga fonem berkaitan konteks biasanya dimodelkan untuk meningkatkan ketepatan pemodelan.

Dalam proses latihan sistem pertama, had bawah varians model HMM dianggarkan, kemudian model HMM nada tunggal dilatih sebagai parameter permulaan model, kemudian model HMM tiga fonem berkaitan konteks dilatih, dan akhirnya pengelompokan tekanan Mn dilakukan berdasarkan pepohon keputusan.

Dalam peringkat sintesis, teks mula-mula dianalisis, digabungkan dengan jangka masa yang diramalkan, jujukan model HMM berkaitan konteks ditentukan berdasarkan pepohon keputusan, dan kemudian jujukan ciri akustik berterusan diperoleh melalui penjanaan parameter kemungkinan maksimum. algoritma, dan bentuk gelombang pertuturan disintesis oleh pensintesis . Sistem sintesis pertuturan parametrik berdasarkan HMM terlalu lancar salah satu sebabnya ialah keupayaan pemodelan HMM yang terhad.

Dalam beberapa tahun kebelakangan ini, sebagai satu cabang pembelajaran mesin, pembelajaran mendalam telah berkembang dengan pesat. Pembelajaran mendalam merujuk kepada penggunaan model rangkaian yang terdiri daripada pelbagai transformasi tak linear dan pelbagai lapisan pemprosesan, iaitu rangkaian saraf. Disebabkan keupayaan pemodelan DNN dan inci yang sangat baik, kaedah pemodelan akustik berdasarkan DNN dan RNN digunakan pada sintesis pertuturan parametrik statistik, dan kesannya lebih baik daripada kaedah pemodelan akustik berdasarkan HMM.

Ia kini telah menjadi kaedah arus perdana pemodelan akustik sintesis pertuturan parametrik statistik. Sistem sintesis pertuturan berdasarkan DNN dan RNN adalah serupa dalam rangka kerja sistem.

Frame gambarajah kaedah sintesis pertuturan berdasarkan rangkaian saraf yang ditunjukkan dalam angka, ciri -ciri input dalam angka adalah ciri -ciri yang diekstrak dari teks; teks.

Latihan sistem sintesis pertuturan parametrik statistik berdasarkan DNN dan RNN biasanya menggunakan kriteria latihan dan menggunakan algoritma BP dan algoritma SGD untuk mengemas kini parameter model supaya parameter akustik yang diramalkan sehampir mungkin dengan parameter akustik semula jadi. Dalam peringkat sintesis, ciri teks diekstrak daripada teks yang disintesis, kemudian parameter akustik yang sepadan diramalkan melalui DNN atau RNN, dan akhirnya bentuk gelombang pertuturan disintesis melalui vocoder.

Pada masa ini, kaedah pemodelan berdasarkan DNN dan RNN digunakan terutamanya pada parameter akustik pertuturan, termasuk frekuensi asas dan parameter spektrum. Maklumat tempoh masih perlu diperolehi melalui sistem lain. Selain itu, ciri input dan output model DNN dan RNN perlu diselaraskan dalam masa.

Atas ialah kandungan terperinci Prinsip teras sintesis pertuturan pintar. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!