Temu bual eksklusif dengan ByteDance Wang Mingxuan: Terjemahan mesin dan terjemahan manual pada dasarnya adalah dua trek |

Kemajuan teknologi selalunya bermakna evolusi industri telah menemui hala tuju baharu. Industri terjemahan tidak terkecuali. Memandangkan proses globalisasi yang semakin pesat, orang ramai tidak dapat berbuat apa-apa tanpa komunikasi silang bahasa semasa menjalankan aktiviti berkaitan asing. Kemunculan terjemahan mesin telah meluaskan senario aplikasi terjemahan Walaupun ia jauh dari sempurna, ia telah mengambil langkah yang kukuh ke arah cabaran manusia ke Menara Babel. 51CTO secara khusus menjemput Wang Mingxuan, ketua penterjemahan mesin di ByteDance AI Lab, untuk bercakap tentang perkembangan terjemahan mesin selama ini.

Daripada berasaskan peraturan kepada berasaskan model statistik kepada berasaskan rangkaian saraf

Pembangunan terjemahan mesin berkait rapat dengan perkembangan teknologi komputer, teori maklumat, linguistik dan disiplin lain. Selepas memasuki abad ke-21, dengan peningkatan keupayaan perkakasan dan pengoptimuman algoritma, teknologi terjemahan mesin telah membawa lompatan ke hadapan yang belum pernah berlaku sebelum ini, dan telah berjaya melangkah keluar dari menara gading dan memulakan jalan menuju keterangkuman.

51CTO: Sepanjang sejarah, apakah nod pembangunan penting yang pernah dialami oleh terjemahan mesin?

Wang Mingxuan: Penterjemahan mesin pada dasarnya adalah masalah yang sangat lama Sejarah terjemahan mesin boleh dikesan kembali kepada "sejagat" yang dicadangkan oleh ahli falsafah seperti Descartes dan Leibniz dalam. bahasa abad ke-17". Selepas kelahiran rasmi komputer pada tahun 1946, orang ramai menjangkakan komputer dapat menterjemah satu bahasa ke bahasa lain. Saintis Amerika Warren Weaver secara rasmi mentakrifkan konsep dan idea terjemahan mesin dalam "Memo Terjemahan". Dalam tempoh ini, dalam konteks Perang Dingin, Amerika Syarikat dan Kesatuan Soviet juga melaburkan banyak wang dalam penyelidikan berkaitan terjemahan mesin berdasarkan keperluan untuk mengumpul maklumat.

Pada mulanya, semua orang agak optimistik, menyangka perkara ini akan diselesaikan tidak lama lagi. Versi pertama sistem terjemahan adalah sangat mudah, terutamanya berdasarkan kamus, seperti menterjemahkan "matahari" kepada "matahari". Namun, terjemahan perkataan-ke-perkataan ini dengan cepat mengalami kesesakan kerana terdapat banyak fenomena polisemi, seperti " Bank" boleh sama ada "bank" atau "tebing sungai". Dalam konteks tertentu, anda akan menghadapi banyak dilema pemilihan perkataan. Menggabungkan peraturan semantik yang dirumuskan oleh ahli bahasa boleh menyelesaikan beberapa kekaburan, tetapi pada peringkat perkembangan seterusnya, lebih banyak peraturan, lebih banyak konflik akan berlaku, sistem akan menjadi lebih dan lebih kompleks, dan masalah masih tidak dapat diselesaikan.

Pada tahun 1966, Amerika Syarikat menerbitkan laporan "Bahasa dan Mesin", yang menafikan sepenuhnya kemungkinan terjemahan mesin dan mengesyorkan supaya sokongan kewangan untuk projek terjemahan mesin dihentikan. Dijejaskan oleh ini, terjemahan mesin telah jatuh ke dalam surut yang rendah.

Sehingga tahun 1990-an, IBM mencadangkan model terjemahan berdasarkan penjajaran perkataan, menandakan kelahiran kaedah terjemahan mesin statistik moden. Prinsip terjemahan mesin berdasarkan statistik adalah sangat mudah Sebagai contoh, jika anda ingin menentukan sama ada bank harus diterjemahkan ke dalam "bank" atau "tebing sungai" dalam konteks, kemudian menjalankan sejumlah besar statistik korpus yang berkaitan, dan anda. akan mendapati bahawa terdapat sesuatu yang berkaitan dengan "wang" dalam konteks, maka Ia lebih cenderung untuk diterjemahkan sebagai "bank". Jika konteks menyebut "sungai", ia lebih cenderung kepada "tebing sungai". Dengan cara ini, tidak menggunakan kamus dan peraturan tatabahasa, tetapi menilai semantik senario tertentu berdasarkan kebarangkalian. Ini adalah perubahan yang membuat zaman, dan kualiti terjemahan mesin telah dipertingkatkan dengan banyak. Tidak lama kemudian, terjemahan mesin mula dilaksanakan dalam banyak senario praktikal.

Tempoh dari 1993 hingga 2014 pada asasnya tergolong dalam era statistik Walau bagaimanapun, walaupun berdasarkan statistik, ia masih memerlukan kerja manual untuk mentakrifkan banyak ciri dan templat, dan kemudian butiran reka bentuk yang lebih lanjut tidak begitu fleksibel, dan tenaga model itu tidak Sangat berkuasa.

Kemudian dalam era rangkaian saraf, terjemahan rangkaian saraf terutamanya termasuk pengekod dan penyahkod dari perspektif model. Pengekod mewakili bahasa sumber menjadi vektor dimensi tinggi selepas satu siri transformasi rangkaian saraf, dan penyahkod bertanggungjawab untuk menyahkod semula vektor dimensi tinggi ini ke dalam bahasa sasaran. Dengan pengenalan Seq2Seq pada tahun 2014, terjemahan rangkaian saraf secara beransur-ansur mula melakukan lebih baik daripada terjemahan mesin statistik.

Pada 2017, Google mencadangkan Transformer, yang mempunyai model yang lebih besar, struktur yang lebih fleksibel dan tahap selari yang lebih tinggi, yang meningkatkan lagi kualiti terjemahan. Pada tahun yang sama, kemenangan AlphaGo juga menjadikan semua orang lebih yakin dalam kecerdasan buatan. Selepas 2017 juga, perindustrian penterjemahan mesin membawa tempoh yang meletup Sehingga kini, rangka kerja keseluruhan tidak banyak berubah, tetapi terdapat banyak inovasi dalam butiran kecil.

Mencabar "Menara Babel"

Daripada padanan kamus, kepada terjemahan peraturan digabungkan dengan pengetahuan pakar linguistik, kepada terjemahan mesin statistik berasaskan korpus, dan terjemahan mesin rangkaian saraf arus perdana , Berbanding sebelum ini, kualiti terjemahan mesin telah meningkat secara mendadak, tetapi ia masih menghadapi banyak cabaran.

51CTO: Apakah cabaran utama yang dihadapi penterjemahan mesin pada masa ini?

Wang Mingxuan: Sebenarnya terdapat banyak cabaran.

Pertama, cara melakukan terjemahan mesin bagi bahasa yang terhad. Ini adalah masalah yang dihadapi oleh terjemahan mesin sejak penubuhannya. Lebih kecil bahasa, lebih kecil jumlah data, dan kekurangan korpus akan menjadi cabaran jangka panjang.

Kedua, cara melakukan terjemahan mesin berbilang modal. Dalam beberapa tahun kebelakangan ini, kami sering perlu melakukan terjemahan suara dan terjemahan video Sebenarnya, terjemahan jenis ini memerlukan AI untuk melakukan beberapa pra-pemprosesan sebelum terjemahan. Jika pemprosesan AI salah, ralat terjemahan mungkin berlaku. Untuk contoh lain, dalam senario tafsiran serentak, ia biasanya dilakukan semasa bercakap, dan maklumat kontekstual yang lengkap tidak boleh diperolehi. Ini adalah masalah biasa dalam terjemahan multimodal.

Ketiga, Masalah paling penting ialah terjemahan mesin semasa masih berdasarkan dipacu data dan belum mendalami pemahaman. Pembelajaran model masih bergantung kepada sumbangan bahasa dan bukannya pemahaman sebenar semantik. Ini sangat mengehadkan had atas terjemahan mesin.

51CTO: Sebagai jenama terjemahan mesin yang dimiliki oleh ByteDance, Huoshan Translation, bagaimanakah ia menangani masalah korpus jarang?

Wang Mingxuan: Ada dua lagi kaedah langsung.

Yang pertama adalah untuk mengembangkan korpus dan berusaha untuk menjadikan korpus yang terhad "tidak lagi terhad". Idea ini adalah untuk menggunakan beberapa model untuk mendapatkan korpus daripada Internet sebanyak mungkin. Contohnya, dalam bahasa Iceland, kita boleh mengumpul sejumlah besar korpus ekabahasa Iceland Di Internet, kita boleh mengumpul teks bahasa Inggeris yang serupa dengan korpus eka bahasa. Sudah tentu, kami kadangkala menggunakan anotasi manual, tetapi lebih kerap kami bergantung pada kaedah pintar untuk menambahkannya sendiri.

Yang kedua ialah menggunakan kesamaan bahasa. Kita semua tinggal di planet yang sama Walaupun kita menggunakan bahasa yang berbeza, kita sebenarnya menggambarkan dunia yang sama Oleh itu, bahasa mempunyai banyak persamaan pada tahap yang tinggi. Kami akan menggunakan beberapa kaedah pembelajaran pemindahan atau pra-latihan untuk menyelesaikan jenis masalah ini, seperti membiarkan model Inggeris membantu model Perancis, atau membiarkan model Jerman membantu model Perancis. Terutamanya kedua-dua idea ini.

51CTO: Untuk mengurangkan gangguan bunyi dalam terjemahan mesin pelbagai mod, apakah strategi yang telah diguna pakai oleh Volcano Translation?

Wang Mingxuan: Untuk menangani gangguan bunyi, pertama sekali, kami menjalankan pemodelan bersama berbilang mod. Kami akan menggunakan isyarat suara dan isyarat teks bersama-sama untuk melakukan tugas hiliran, supaya penghantaran ralat akan dikurangkan dengan banyak. Pada masa ini, membina semantik bersatu pelbagai mod juga menjadi topik yang sangat hangat dalam akademik, jadi kami juga akan menyerap banyak perkara dari bidang lain.

Kedua, kami juga akan melakukan banyak latihan keteguhan dalam kawasan teks, cuba memastikan model masih boleh memastikan output yang betul walaupun terdapat input yang salah, atau tidak menguatkan ralat ini, yang bersamaan dengan Pembetulan ralat automatik dan terjemahan mesin disepadukan ke dalam satu model. Kerana orang sebenarnya mempunyai keupayaan pembetulan ralat automatik seperti ini, sebagai contoh, penterjemah manusia akan membetulkan diri mereka secara automatik apabila mereka mendengar maklumat yang salah, jadi kami juga akan mempertimbangkan maklumat ini dalam model.

51CTO: Tafsiran serentak mempunyai keperluan yang tinggi untuk kelewatan. Walau bagaimanapun, jika tiada konteks kontekstual atau semantik lengkap, adalah sukar untuk menjamin ketepatan. Bagaimanakah terjemahan mesin mengimbangi percanggahan antara keduanya?

Wang Mingxuan: Ini sangat mencabar dalam industri, kerana ia bukan sahaja mengenai pertukaran kelewatan dan ketepatan, tetapi sebenarnya memerlukan pengoptimuman.

Sebagai contoh, dalam beberapa senario persidangan, sari kata yang diterjemahkan perlu dipaparkan pada skrin besar Kepantasan penonton menerima sari kata juga merupakan salah satu isu utama, termasuk panjang setiap paparan sari kata. kekerapan pop timbul sari kata Cara membaca dengan lebih selesa. Terdapat banyak butiran yang memerlukan kami berkomunikasi berulang kali dengan pengurus produk dan menjalankan tinjauan pengguna yang mendalam untuk melihat kepuasan keseluruhan. Oleh itu, Ini bukan hanya soal ketepatan Pengalaman pengguna sebenar mesti diambil kira sebelum melaraskan model.

Selain itu, kelewatan mungkin merupakan salah satu petunjuk kepuasan pengguna, tetapi lebih pendek kelewatan, lebih baik. Lazimnya adalah lebih baik untuk mempunyai jurang yang sesuai. Kerana jika kelewatan sangat singkat, sari kata akan muncul dengan cepat, dan kesan penerimaan pengguna tidak akan menjadi sangat baik. Dalam hal ini, kami juga akan belajar daripada banyak amalan matang dalam industri, seperti mengawal selang terjemahan sari kata secara dinamik. Secara keseluruhan, ini adalah masalah kejuruteraan dan berorientasikan produk.

Aliran Masa Depan

Terjemahan mesin masih belum sempurna, tetapi pengamal berusaha keras untuk menjadikannya lebih berkualiti, lebih boleh digunakan dan lebih sesuai. Mari kita lihat arah aliran perkembangannya, terutamanya apabila terjemahan mesin "berlanggar" dengan penterjemah profesional, apakah tindak balas kimia yang akan berlaku dalam adegan perkhidmatan terjemahan.

51CTO: Dengan perkembangan teknologi, adakah terjemahan mesin akan menghasilkan lebih banyak senario aplikasi yang menarik?

Wang Mingxuan: Gelas Volcano Translation AR yang kami lancarkan sebelum ini adalah percubaan yang serupa. Cermin mata terjemahan AR yang dikeluarkan pada akhir persidangan Google I/O tahun ini juga merupakan aplikasi yang sangat menarik Selepas memakainya, pengguna boleh melihat terjemahan lawan bicara dalam masa nyata, serupa dengan kesan sari kata.

Ini sebenarnya menggambarkan ideal yang agak mudah: Kami berharap semua orang boleh hidup dalam dunia dengan komunikasi tanpa halangan. Contohnya: semasa melancong ke luar negara, anda boleh memahami gesaan teks dalam mana-mana bahasa dengan memakai cermin mata Tanda jalan yang anda lihat adalah dalam bahasa Jerman, tetapi yang dipaparkan pada cermin mata adalah dalam bahasa Cina. Semasa komunikasi harian, apabila seseorang bercakap dengan anda, maklumat perbualan secara automatik bertukar menjadi teks yang anda fahami dan dipaparkan di bawah cermin mata. Ini semua adalah senario di mana maklumat boleh diperolehi dengan lebih berkesan.

51CTO: Dalam jangka panjang, bagaimana terjemahan mesin akan berkembang?

Wang Mingxuan: Dari segi aplikasi, saya rasa terjemahan mesin mungkin diintegrasikan lebih rapat dengan aplikasi berbilang modal, seperti kandungan video dan audio kandungan. Permintaan untuk terjemahan akan meningkat. Selain itu, terjemahan mesin mungkin lebih dikaitkan dengan perniagaan luar negara dan pengembangan budaya luar negara. Oleh kerana banyak syarikat domestik sedang giat mengembangkan perniagaan mereka di luar negara, saya rasa bidang ini akan sangat membantu dalam pembangunan terjemahan mesin.

Dari segi teknologi, trend yang saya dapat lihat sudah berlaku ialah: Pertama, latihan data besar dan model besar. Terdapat semakin ramai orang yang terlibat dalam bidang ini, model semakin besar dan lebih besar, dan jumlah data juga semakin meningkat. Ramai orang percaya bahawa perubahan ini mungkin membawa perubahan kualitatif dalam keupayaan terjemahan mesin. Yang kedua ialah gabungan terjemahan dan modaliti. Bukan sahaja dari segi terjemahan, ramai orang dalam industri cuba membina perwakilan semantik yang bersatu bagi modaliti yang berbeza Dalam beberapa tahun kebelakangan ini, sempadan antara modaliti yang berbeza adalah agak jelas, dan terdapat sedikit komunikasi. Hari ini, model semakin konsisten. Pada masa hadapan, mungkin terdapat model yang boleh melakukan terjemahan teks, terjemahan suara dan juga terjemahan video.

51CTO: Pada masa hadapan, adakah mungkin terjemahan mesin menggantikan sepenuhnya terjemahan manusia dalam senario tertentu?

Wang Mingxuan: Mengikut amalan semasa, sudah pasti ia tidak boleh menggantikan tenaga buruh. Walau bagaimanapun, saya fikir terjemahan mesin dan terjemahan manusia mungkin tidak tergolong dalam trek yang sama.

Ciri-ciri terjemahan mesin ialah ia sangat pantas dan boleh ditingkatkan, jadi ia sesuai untuk memproses sejumlah besar maklumat yang perlu diproses tepat pada masanya. Sebagai contoh, jika terdapat 10 juta video yang perlu diterjemahkan daripada bahasa Inggeris ke bahasa Perancis, adalah mustahil untuk melakukannya secara manual semata-mata, tetapi mesin boleh melakukannya. Ini membolehkan mesin memainkan peranan yang sangat penting dalam landasannya, yang bermanfaat dalam jangka panjang, kerana ia meluaskan keseluruhan pasaran dan menjadikan pasaran merentas bahasa lebih besar.

Tetapi untuk senario terjemahan yang sangat tepat, terjemahan mesin mungkin tidak dapat mengendalikannya. Seperti yang dinyatakan oleh seseorang, bolehkah terjemahan mesin menterjemah "A Dream of Red Mansions"? Pada pendapat saya, ini tidak termasuk dalam skop tugas terjemahan mesin. Terjemahan novel atau puisi, terjemahan jenis ini mesti bergantung kepada pakar. Terdapat juga tafsiran serentak persidangan standard tinggi, yang pastinya memerlukan penterjemah profesional, bukan mesin. Tetapi dalam beberapa mesyuarat yang tidak begitu penting, kelebihan kos terjemahan mesin akan didedahkan.

Terjemahan mesin dan penterjemah profesional tergolong dalam trek yang berbeza, dan perbezaannya masih sangat jelas. Namun, sedikit sebanyak, kedua-duanya juga mempunyai hubungan tolong-menolong. Ini ditunjukkan dalam: Di satu pihak, korpus yang diperlukan untuk terjemahan mesin dihasilkan oleh penterjemah profesional. Penterjemah profesional terus menghasilkan sejumlah besar korpus semasa kerja mereka, dan korpus ini boleh terus membantu penterjemahan mesin meningkatkan keupayaannya. Sebaliknya, terjemahan mesin juga boleh membantu mengurangkan beban orang dan mengendalikan tugas yang kurang menuntut. Pada masa kini, terdapat banyak penterjemah yang melakukan penyuntingan pasca terjemahan Banyak syarikat penterjemahan membiarkan mesin melakukan terjemahan terlebih dahulu, dan penterjemah melakukan penyuntingan kemudiannya.

Pengenalan tetamu

Wang Mingxuan, ketua pasukan terjemahan mesin ByteDance AI-Lab, hala tuju penyelidikannya adalah terutamanya terjemahan mesin dan pemprosesan bahasa semula jadi. Dalam bidang terjemahan mesin, beliau telah menerbitkan lebih daripada 40 kertas kerja di persidangan teratas seperti ACL dan EMNLP, dan telah memenangi tempat pertama dalam pertandingan penilaian terjemahan antarabangsa seperti WMT berkali-kali. Pada masa yang sama, beliau juga berkhidmat sebagai pengerusi penaja EMNLP2022 dan pengerusi kawasan persidangan seperti NeurIPS 2022, NLPCC 2022, dan AACL2022.

Pengenalan Lajur

"T Frontline" ialah salah satu lajur temu bual mendalam yang dibuka khas oleh Pusat Kandungan 51CTO untuk tokoh teknikal orang dalam industri teknologi Pemimpin, arkitek kanan, pakar teknikal kanan, dsb. memberikan tafsiran dan pandangan mendalam tentang titik panas teknologi semasa, amalan teknologi dan trend teknologi, serta menggalakkan penyebaran dan pembangunan teknologi termaju.

Atas ialah kandungan terperinci Temu bual eksklusif dengan ByteDance Wang Mingxuan: Terjemahan mesin dan terjemahan manual pada dasarnya adalah dua trek |. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!