Kualiti sistem terjemahan teks AI telah meningkat sebanyak 44%, menggunakan lebih 50 bilion parameter untuk menterjemah 200 bahasa

Meta Platforms hari ini membuka kod sistem NLLB-200, sistem kecerdasan buatan yang dibangunkan secara dalaman oleh Meta yang boleh menterjemah teks dalam 200 bahasa.

Meta juga mengumumkan satu set alat yang direka untuk membantu penyelidik dengan lebih mudah menggunakan NLLB-200 pada projek perisian.

Menurut Meta, banyak daripada 200 bahasa NLLB-200 yang boleh difahami tidak disokong dengan baik oleh sistem terjemahan AI yang lain. Walaupun alat terjemahan yang digunakan secara meluas pada masa ini menyokong kurang daripada 25 bahasa Afrika, NLLB-200 menyokong sehingga 55 bahasa Afrika.

Ketepatan terjemahan ialah satu lagi bidang di mana NLLB-200 mengatasi alat lain, kata Meta. Meta menggunakan piawaian ketepatan sistem penilaian BLEU, algoritma yang digunakan untuk mengukur kualiti teks terjemahan mesin. Menurut Meta, skor BLEU NLLB-200 adalah 44% lebih tinggi secara purata daripada sebelumnya.

Ketua Pegawai Eksekutif Meta Mark Zuckerberg berkata: "Kami hanya membuka sumber model AI buatan sendiri yang boleh menterjemah 200 bahasa berbeza - kebanyakannya tidak disokong oleh sistem terjemahan semasa. Kami meletakkan Projek ini dipanggil Tidak Language Left Behind, dan teknologi pemodelan kecerdasan buatan yang kami gunakan menghasilkan terjemahan berkualiti tinggi untuk bahasa yang dituturkan oleh berbilion orang di seluruh dunia."

Terdapat lebih daripada 50 bilion Parameter NLLB-200s. konfigurasi ini menentukan cara sistem AI memproses data. Lebih banyak parameter sistem AI, lebih tinggi ketepatannya.

Mempunyai sebilangan besar parameter bukanlah satu-satunya faktor dalam keupayaan NLLB-200 untuk menyokong 200 bahasa dengan ketepatan tinggi, kerana sistem NLLB-200 juga menggunakan banyak inovasi AI lain yang dibangunkan oleh Meta jurutera.

Meta menggunakan kit alat LASER yang dibangunkan dalaman untuk menyediakan sokongan untuk penyelidikan berkaitan pembelajaran mesin. Dengan menggunakan kit alat, penyelidik boleh melatih rangkaian saraf untuk melaksanakan tugas tertentu dalam satu bahasa dan kemudian secara relatif mudah menyesuaikan rangkaian saraf kepada bahasa lain, yang akan berguna untuk tujuan terjemahan. Meta telah membangunkan sistem NLLB-200 baharu yang menyokong versi LASER - LASER3 yang lebih baik.

Versi asal LASER termasuk rangkaian neural yang dipanggil LSTM, komponen khusus yang menukar teks kepada perwakilan matematik yang boleh difahami oleh sistem AI. Perwakilan matematik ini membantu menghasilkan terjemahan yang lebih tepat. Dalam LASER3, Meta menggantikan rangkaian saraf LSTM dengan Transformer, model pemprosesan bahasa semula jadi termaju yang boleh melaksanakan tugas yang sama dengan lebih cekap.

Meta juga menggunakan beberapa kaedah lain untuk meningkatkan keupayaan NLLB-200, seperti Meta menaik taraf sistem yang digunakan untuk mengumpul data latihan dan membuat perubahan pada aliran kerja latihan AI.

Meta menggunakan superkomputer SuperCluster Research yang dibangunkan dalaman (gambar) untuk melatih NLLB-200. Apabila Meta mula-mula memperkenalkan Research SuperCluster pada Januari tahun ini, ia berkata bahawa sistem itu dilengkapi dengan 6,080 GPU pusat data A100 Nvidia dan akhirnya akan dinaik taraf kepada 16,000 GPU.

Meta merancang untuk menggunakan NLLB-200 untuk menyediakan keupayaan terjemahan automatik yang lebih baik di Facebook, Instagram dan platform lain, dan sistem itu dijangka menyokong lebih daripada 25 bilion terjemahan setiap hari.

Sementara Meta sedang berusaha keras untuk mempromosikan NLLB-200 secara dalaman, ia juga merancang untuk membantu organisasi perusahaan lain menggunakan sistem tersebut pada projek perisian mereka sendiri.

Selain NLLB-200, Meta mempunyai kod sumber terbuka yang boleh digunakan untuk melatih AI, serta set data yang dipanggil FLORES-200 untuk menilai ketepatan terjemahan. Meta akan menyediakan pembiayaan sehingga $200,000 untuk membantu organisasi bukan untung mengguna pakai NLLB-200. Selain itu, Meta juga akan bekerjasama dengan Yayasan Wikimedia untuk menggunakan teknologi terjemahan automatik pada artikel Wikipedia.

Atas ialah kandungan terperinci Kualiti sistem terjemahan teks AI telah meningkat sebanyak 44%, menggunakan lebih 50 bilion parameter untuk menterjemah 200 bahasa. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!