Dalam sepuluh tahun akan datang, pengecaman pertuturan AI akan berkembang dalam lima arah ini

​ Pengarang |. Migüel Jetté

Disusun |. bluemin

Editor |. Pembangunan penting telah dicapai dalam penggunaan komersil Salah satu petunjuk pengukuran ialah berbilang model ASR peringkat perusahaan yang berasaskan sepenuhnya pada rangkaian saraf telah berjaya dilancarkan, seperti Alexa, Rev, AssemblyAI, ASAPP, dsb. Pada 2016, Microsoft Research menerbitkan artikel yang mengumumkan bahawa model mereka telah mencapai prestasi peringkat manusia (seperti yang diukur dengan kadar ralat perkataan) pada set data "Papan Suis" berusia 25 tahun. Ketepatan ASR terus bertambah baik, mencapai prestasi peringkat manusia merentas lebih banyak set data dan kes penggunaan.

Sumber imej: Catatan blog Awni Hannun "Pengiktirafan Ucapan tidak Diselesaikan"

Oleh kerana ketepatan pengecaman teknologi ASR telah bertambah baik, senario aplikasi telah menjadi semakin popular Kami percaya bahawa ia belum menjadi puncak penggunaan komersial ASR, dan aplikasi penyelidikan dan pasaran dalam bidang ini masih belum diterokai. Kami meramalkan bahawa sistem penyelidikan dan komersil berkaitan suara AI akan menumpukan pada lima bidang berikut dalam sepuluh tahun akan datang:

Model ASR berbilang bahasa

"Sepanjang dekad akan datang, kami akan menggunakan model yang benar-benar berbilang bahasa dalam pengeluaran, membolehkan pembangun membina aplikasi yang boleh difahami oleh sesiapa sahaja dalam mana-mana bahasa, benar-benar melepaskan kuasa pengecaman pertuturan kepada dunia." >

Sumber imej: "Pembelajaran perwakilan silang bahasa tanpa pengawasan untuk pengecaman pertuturan" yang diterbitkan oleh Alexis Conneau et al pada 2020

Model ASR komersil hari ini kebanyakannya menggunakan Ia dilatih pada set data bahasa Inggeris dan. oleh itu mempunyai ketepatan yang lebih tinggi pada input bahasa Inggeris. Terdapat minat jangka panjang yang lebih besar dalam bahasa Inggeris dalam bidang akademik dan industri disebabkan oleh ketersediaan data dan permintaan pasaran. Walaupun ketepatan pengiktirafan bahasa komersial popular seperti Perancis, Sepanyol, Portugis dan Jerman juga munasabah, jelas terdapat ekor panjang bahasa dengan data latihan terhad dan kualiti keluaran ASR yang agak rendah.

Selain itu, kebanyakan sistem perniagaan adalah berdasarkan satu bahasa, yang tidak boleh digunakan pada senario berbilang bahasa yang unik kepada banyak masyarakat. Multilingualisme boleh berbentuk bahasa back-to-back, seperti pengaturcaraan media di negara dwibahasa. Amazon telah membuat kemajuan besar dalam menangani masalah ini dengan melancarkan produk yang menyepadukan pengenalan bahasa (LID) dan ASR baru-baru ini. Sebaliknya, menterjemah bahasa (juga dikenali sebagai penukaran kod) ialah sistem bahasa yang digunakan oleh individu untuk menggabungkan perkataan dan tatabahasa daripada dua bahasa dalam ayat yang sama. Ini adalah kawasan di mana akademia terus membuat kemajuan yang menarik.

Sama seperti bidang pemprosesan bahasa semula jadi menggunakan pendekatan berbilang bahasa, kita akan melihat ASR mengikutinya dalam dekad akan datang. Sambil kami mempelajari cara memanfaatkan teknologi hujung ke hujung yang baru muncul, kami akan melatih model berbilang bahasa berskala besar yang boleh memindahkan pembelajaran antara berbilang bahasa. XLS-R Meta ialah contoh yang baik: dalam satu demo, pengguna boleh bercakap mana-mana daripada 21 bahasa tanpa menyatakan bahasa, dan model itu akhirnya akan diterjemahkan ke bahasa Inggeris. Dengan memahami dan menggunakan persamaan antara bahasa, sistem ASR yang lebih pintar ini akan menyediakan kebolehgunaan ASR berkualiti tinggi untuk bahasa sumber rendah dan kes penggunaan bahasa campuran dan akan membolehkan aplikasi gred komersial.

2. Objek keluaran standard yang kaya

“Dalam sepuluh tahun akan datang, kami percaya bahawa sistem ASR komersial akan mengeluarkan objek transkripsi yang lebih kaya, Di sana Lebih daripada perkataan mudah, kami menjangkakan bahawa output yang lebih kaya ini akan disokong oleh badan piawai seperti W3C supaya semua API akan mengembalikan output yang dibina sama, yang akan membebaskan semua orang di dunia Aplikasi.

" Walaupun Institut Piawaian dan Teknologi Kebangsaan (NIST) mempunyai tradisi lama untuk menerokai "transkripsi kaya", ia hanya menconteng permukaan dalam memasukkannya ke dalam format piawai dan berskala untuk output ASR. Konsep transkripsi kaya pada mulanya melibatkan penggunaan huruf besar, tanda baca dan diari, tetapi sedikit sebanyak berkembang kepada peranan penutur dan rangkaian acara pertuturan bukan lisan. Inovasi yang dijangkakan termasuk menyalin pertuturan bertindih daripada penutur yang berbeza, emosi yang berbeza-beza dan ciri paralinguistik lain, serta julat adegan dan peristiwa pertuturan bukan linguistik malah bukan manusia, serta menyalin kepelbagaian berasaskan teks atau linguistik. Tanaka et al. menggambarkan senario di mana pengguna mungkin ingin memilih antara pilihan transkripsi dengan pelbagai kekayaan, dan jelas sekali jumlah dan sifat maklumat tambahan yang kami ramalkan boleh ditentukan, bergantung pada aplikasi hiliran.

Sistem ASR tradisional mampu menjana grid berbilang hipotesis dalam proses mengenal pasti perkataan yang dituturkan, yang telah terbukti memberi manfaat besar dalam transkripsi bantuan manusia, sistem dialog yang dituturkan dan perolehan maklumat. Memasukkan maklumat n-terbaik dalam format output yang kaya akan menggalakkan lebih ramai pengguna menggunakan sistem ASR, dengan itu meningkatkan pengalaman pengguna. Walaupun tiada standard yang wujud pada masa ini untuk menstruktur atau menyimpan maklumat tambahan yang sedang atau berpotensi dijana semasa penyahkodan pertuturan, Piawaian Transkripsi Pertuturan Terbuka CallMiner (OVTS) ialah langkah kukuh ke arah ini, menjadikannya mudah bagi perusahaan untuk meneroka dan memilih vendor ASR Berbilang.

Kami meramalkan bahawa pada masa hadapan, sistem ASR akan menghasilkan output yang lebih kaya dalam format standard, membolehkan aplikasi hiliran yang lebih berkuasa. Sebagai contoh, sistem ASR mungkin mengeluarkan set penuh jejaring yang mungkin, dan aplikasi boleh menggunakan data tambahan ini untuk melakukan transkripsi automatik pintar semasa mengedit transkrip. Begitu juga, transkripsi ASR yang termasuk metadata tambahan seperti dialek serantau, aksen, bunyi ambien atau mood yang dikesan boleh mendayakan aplikasi carian yang lebih berkuasa.

3. ASR berskala besar untuk semua orang

“Dalam dekad ini, ASR berskala besar (iaitu, penswastaan, Mampu, boleh dipercayai, dan pantas) akan menjadi sebahagian daripada kehidupan harian setiap orang Sistem ini akan dapat mencari video, mengindeks semua kandungan media yang kami gunakan, dan menjadikan setiap video boleh diakses oleh pengguna bermasalah pendengaran di seluruh dunia dan video boleh diakses dan boleh diambil tindakan ”

Kita mungkin semua menggunakan perisian audio dan video: Podcast, strim media sosial, video dalam talian, sembang kumpulan langsung, mesyuarat Zum dan banyak lagi. Namun kandungan yang berkaitan jarang ditranskripsikan dalam amalan. Hari ini, transkripsi kandungan telah menjadi salah satu pasaran terbesar untuk API ASR dan akan berkembang pesat sepanjang dekad akan datang, terutamanya memandangkan ketepatan dan kemampuannya. Setelah berkata demikian, transkripsi ASR pada masa ini hanya digunakan untuk aplikasi tertentu (video siaran, persidangan dan podcast tertentu, dsb.). Akibatnya, ramai orang tidak dapat mengakses kandungan media ini dan mendapati sukar untuk mencari maklumat yang berkaitan selepas siaran atau acara.

Pada masa hadapan, keadaan ini akan berubah. Seperti yang diramalkan oleh Matt Thompson pada 2010, pada satu ketika ASR akan menjadi murah dan cukup meluas sehingga kita akan mengalami apa yang dipanggilnya "kebolehtuturan". Kami meramalkan bahawa pada masa hadapan hampir semua kandungan audio dan video akan ditranskripsi dan dibuat serta-merta boleh diakses, disimpan dan boleh dicari pada skala. Tetapi pembangunan ASR tidak akan berhenti di sini, kami juga berharap kandungan ini dapat diambil tindakan. Kami berharap setiap audio dan video yang digunakan atau terlibat akan memberikan konteks tambahan, seperti cerapan yang dijana secara automatik daripada podcast atau persidangan, atau ringkasan automatik detik penting dalam video, dsb. Kami berharap sistem NLP dapat merutinkan pemprosesan di atas.

4. Kerjasama manusia-mesin

“Menjelang akhir abad ini, kita akan mempunyai sistem ASR yang berkembang seperti kehidupan organisma , belajar secara berterusan dengan bantuan manusia atau penyeliaan kendiri, sistem ini akan belajar daripada sumber yang berbeza di dunia nyata, memahami perkataan dan variasi bahasa baharu dalam masa nyata dan bukannya secara tidak segerak, nyahpepijat kendiri dan memantau penggunaan yang berbeza secara automatik." 🎜>

Memandangkan ASR menjadi arus perdana dan meliputi lebih banyak kes penggunaan, kerjasama manusia-mesin akan memainkan peranan penting. Latihan model ASR mencerminkan perkara ini dengan baik. Hari ini, set data sumber terbuka dan model pra-latihan mengurangkan halangan kepada kemasukan vendor ASR. Walau bagaimanapun, proses latihan masih agak mudah: mengumpul data, menganotasi data, melatih model, menilai keputusan, menambah baik model. Tetapi ini adalah proses yang perlahan dan, dalam banyak kes, terdedah kepada ralat kerana kesukaran dalam penalaan atau data yang tidak mencukupi. Garnerin et al. memerhatikan bahawa kehilangan metadata dan ketidakkonsistenan dalam perwakilan merentas korporat menjadikannya sukar untuk menjamin ketepatan yang sama dalam prestasi ASR, yang juga merupakan masalah yang cuba diselesaikan oleh Reid dan Walker semasa membangunkan standard metadata.

Pada masa hadapan, manusia akan menyelia latihan ASR dengan cekap melalui cara yang bijak dan memainkan peranan yang semakin penting dalam mempercepatkan pembelajaran mesin. Pendekatan Human-in-the-loop meletakkan pengulas manusia dalam gelung pembelajaran mesin/maklum balas, membolehkan semakan berterusan dan pelarasan hasil model. Ini akan menjadikan pembelajaran mesin lebih pantas dan lebih cekap, menghasilkan output berkualiti tinggi. Pada awal tahun ini, kami membincangkan cara penambahbaikan pada ASR akan membolehkan transkrip manusia Rev (dipanggil "Revvers") melakukan penyuntingan pasca pada draf ASR, menjadikannya lebih produktif. Transkripsi Revver boleh dimasukkan terus ke dalam model ASR yang dipertingkatkan, membentuk kitaran yang mulia.

Satu bidang yang pakar bahasa manusia kekal penting dalam ASR ialah penormalan teks songsang (ITN), di mana mereka menukar rentetan yang diiktiraf (seperti "lima dolar") ke dalam bentuk bertulis yang diharapkan (seperti " $5”). Pusateri et al mencadangkan pendekatan hibrid menggunakan "model tatabahasa dan statistik buatan tangan", dan Zhang et al meneruskannya dengan mengekang RNN dengan FST buatan tangan.

5. ASR yang Bertanggungjawab

“Seperti semua sistem AI, sistem ASR masa hadapan akan mematuhi Prinsip etika AI yang lebih ketat supaya sistem merawat semua orang sama, mempunyai tahap kebolehjelasan yang lebih tinggi, bertanggungjawab terhadap keputusannya, dan menghormati privasi pengguna dan data mereka ”

Sistem ASR masa hadapan Etika AI akan dipatuhi: keadilan, kebolehjelasan, menghormati privasi dan akauntabiliti.

Kesaksamaan: Sistem ASR yang adil boleh mengecam pertuturan tanpa mengira latar belakang penceramah, status sosioekonomi atau ciri lain. Perlu diingat bahawa membina sistem sedemikian memerlukan mengenal pasti dan mengurangkan berat sebelah dalam model dan data latihan kami. Nasib baik, kerajaan, NGO dan perniagaan sudah berusaha untuk mewujudkan infrastruktur untuk mengenal pasti dan mengurangkan berat sebelah.

Kebolehtafsiran: Sistem ASR tidak lagi menjadi "kotak hitam": ia akan menerangkan pengumpulan dan analisis data, prestasi model dan proses output atas permintaan. Keperluan ketelusan tambahan ini membolehkan pengawasan manusia yang lebih baik terhadap latihan dan prestasi model. Seperti Gerlings et al., kami melihat kebolehtafsiran daripada perspektif pelbagai pihak berkepentingan (termasuk penyelidik, pembangun, pelanggan, dan dalam kes Rev, transkripsi). Penyelidik mungkin ingin mengetahui sebab untuk mengeluarkan teks yang salah untuk mengurangkan masalah manakala transkripsi mungkin mahukan beberapa bukti mengapa ASR berpendapat ia berbuat demikian untuk membantu mereka menilai keberkesanannya, terutamanya dalam situasi bising di mana ASR mungkin lebih cekap daripada Orang; "mendengar" lebih baik. Weitz et al. mengambil langkah pertama yang penting ke arah kebolehtafsiran untuk pengguna akhir dalam konteks pengecaman kata kunci audio. Laguarta dan Subirana telah menggabungkan tafsiran berpandukan doktor ke dalam sistem biomarker pertuturan untuk pengesanan penyakit Alzheimer.

Hormati Privasi: "Suara" dianggap "data peribadi" di bawah pelbagai undang-undang A.S. dan antarabangsa, dan oleh itu, pengumpulan dan pemprosesan rakaman suara tertakluk pada perlindungan privasi peribadi yang ketat. Di Rev, kami telah menyediakan keselamatan data dan keupayaan kawalan, dan sistem ASR masa hadapan akan terus menghormati privasi data pengguna dan privasi model. Dalam kebanyakan kes, ini berkemungkinan besar melibatkan menolak model ASR ke tepi (pada peranti atau penyemak imbas). Cabaran privasi suara mendorong penyelidikan dalam bidang ini, dan banyak bidang kuasa, seperti Kesatuan Eropah, telah memulakan usaha perundangan. Bidang pembelajaran mesin yang memelihara privasi menjanjikan untuk menarik perhatian kepada aspek kritikal teknologi ini, membolehkan ia diterima secara meluas dan dipercayai oleh orang ramai.

Accountability: Kami akan memantau sistem ASR untuk memastikan ia mematuhi tiga prinsip pertama. Ini seterusnya memerlukan pelaburan sumber dan infrastruktur untuk mereka bentuk dan membangunkan sistem pemantauan yang diperlukan dan untuk mengambil tindakan sebagai tindak balas kepada penemuan. Syarikat yang menggunakan sistem ASR akan bertanggungjawab ke atas penggunaan teknologi mereka dan membuat usaha khusus untuk mematuhi prinsip etika ASR. Perlu dinyatakan bahawa manusia, sebagai pereka bentuk, penyelenggara dan pengguna sistem ASR, akan bertanggungjawab untuk melaksanakan dan menguatkuasakan prinsip-prinsip ini—satu lagi contoh kerjasama manusia-mesin.

Pautan rujukan: https://thegradient.pub/the-future-of-speech-recognition/https://awni.github.io/speech-recognition/​

Atas ialah kandungan terperinci Dalam sepuluh tahun akan datang, pengecaman pertuturan AI akan berkembang dalam lima arah ini. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!