Selepas satu hari latihan pada GPU tunggal, Transformer boleh mencapai ketepatan 99% dalam menambah nombor 100 digit.

Pendaraban dan pengasingan juga berfungsi.

Sejak ia dicadangkan pada 2017, Transformer telah menjadi seni bina arus perdana untuk model AI yang besar dan telah berada dalam kedudukan C dengan kukuh.

Walau bagaimanapun, apa yang perlu diakui oleh semua penyelidik ialah Transformer berprestasi sangat teruk pada tugasan aritmetik, walaupun penambahan, dan kecacatan ini sebahagian besarnya berpunca daripada ketidakupayaan Transformer untuk menjejaki setiap digit dengan tepat dalam julat nombor yang besar.

Untuk menyelesaikan masalah ini, penyelidik dari University of Maryland, CMU dan institusi lain telah melancarkan cabaran kepada masalah ini. Mereka menyelesaikan masalah ini dengan menambah pembenaman pada setiap nombor yang mengekod kedudukan nombor berbanding dengan permulaan. Kajian mendapati bahawa hanya satu hari diperlukan untuk melatih nombor 20 digit pada GPU tunggal untuk mencapai prestasi terkini, dengan ketepatan sehingga 99% pada masalah penambahan 100 digit.

Alamat kertas: https://arxiv.org/pdf/2405.17399

Alamat projek: https://github.com/mcleish7/arithmetic

Tajuk: Transformers Can Do Aritmetik🜎Specific🜎 Khususnya, penyelidik mencadangkan pengubahsuaian ringkas pada paparan jadual data dapat menyelesaikan kekurangan ini. Mereka mencadangkan pembenaman Abakus untuk mengekod kedudukan dalam julat setiap token simbol digital. Menggunakan benam Abakus bersama-sama dengan benam kedudukan standard, kajian itu memerhatikan peningkatan ketara dalam ketepatan Transformer pada tugasan aritmetik, dengan itu model yang dilatih dengan hanya sehingga 20 digit operan berskala kepada masalah dengan 120 digit. Nombor ini mewakili faktor penskalaan SOTA 6x, berbanding faktor penskalaan tercanggih sebelum ini iaitu hanya 2.5x. Difahamkan bahawa ini adalah urutan penambahan pembelajaran terpanjang yang ditunjukkan setakat ini.

Selain mengkaji mengoptimumkan prestasi Transformer dalam aritmetik dan generalisasi, artikel ini juga meneroka beberapa kaedah lain untuk meningkatkan prestasi Transformer. Mereka mendapati bahawa mereka boleh mengurangkan ralat generalisasi sebanyak 50% ke atas garis dasar pembenaman Abakus dengan memasukkan sambungan langkau antara lapisan suntikan input dan setiap lapisan penyahkod. Makalah ini juga mendapati bahawa seni bina Transformer bergelung yang digunakan bersama dengan pembenaman boleh mencapai generalisasi yang hampir sempurna pada masalah penambahan.

Sumbangan kertas ini boleh diringkaskan seperti berikut:

Kertas kerja ini mencadangkan pembenaman kedudukan baharu, yang dipanggil Abakus embedding, untuk menangkap kepentingan setiap nombor dengan lebih baik, seterusnya mencapai generalisasi dalam pengagihan yang hampir sempurna

• ;

Penyelidikan menunjukkan bahawa apabila benam Abakus digabungkan dengan suntikan input dan transformer bergelung, prestasi dipertingkatkan lagi, dengan ketepatan luar pengedaran meningkat daripada 92.9% kepada 99.1%, dan pengurangan ralat berbanding dengan benam menggunakan seni bina standard sahaja 87%;
Para penyelidik meluaskan penemuan ini kepada masalah yang lebih kompleks, termasuk pendaraban dan pengisihan, dan juga menunjukkan generalisasi panjang dalam bidang ini.

Melaksanakan generalisasi panjang penambahan

Penulis menyiasat satu siri kaedah yang bertujuan untuk meningkatkan prestasi aritmetik model bahasa yang dilatih dari awal. Mereka memberi tumpuan terutamanya kepada dua hipotesis: 1) maklumat kedudukan digit individu dalam nombor sedang hilang 2) gelung boleh meningkatkan keupayaan penaakulan seni bina Transformer pada masalah penaakulan aritmetik berbilang langkah. Penulis membincangkan secara ringkas tetapan latihan dan penilaian sebelum menerangkan setiap peningkatan secara terperinci.

Persediaan eksperimen

Pengarang melatih model bahasa kausal yang mengandungi hanya penyahkod untuk menyelesaikan masalah penambahan.

Mereka menganggap dua seni bina pengubah standard. Pertama, mereka menggunakan model pengubah autoregresif standard dengan berbilang lapisan penyahkod yang disusun mengikut cara suapan ke hadapan. Kedua, mereka menambah model pengubah piawai ini dengan suntikan input, yang menambah benam pada input setiap lapisan penyahkod. Pengarang secara visual menggambarkan seni bina ini dalam Rajah 20.

Pembenaman abakus membantu menyelaraskan nombor

Melalui penyelidikan dan eksperimen awal sebelum ini, penulis mendapati walaupun nombor input dipaparkan dengan nombor paling tidak penting terlebih dahulu, data latihan adalah berhierarki dan kaya (beribu-ribu contoh), ia juga sukar untuk pengubah piawai untuk mempelajari penambahan berbilang digit. Mereka juga memerhatikan bahawa apabila manusia melakukan operasi tambah panjang, mereka mula-mula menyusun nombor dengan digit yang sama ke dalam lajur. Oleh itu, hipotesis pertama pengarang ialah digit bagi setiap nombor tidak mudah diwakili untuk pengubah, dan submasalah ini menimbulkan halangan yang lebih besar daripada penambahan sebenar itu sendiri.

Untuk menangani batasan pengubah dalam mewakili maklumat kedudukan, pengarang mereka bentuk pembenaman kedudukan khas yang mengekod kedudukan setiap nombor berbanding kedudukan permulaan nombor semasa. Pengarang memanggil penyematan Abakus ini. Mereka menggunakan pembenaman kedudukan yang sama pada semua nombor dengan digit yang sama, memberikan isyarat eksplisit yang boleh digunakan model untuk menjajarkan nombor, seperti yang ditunjukkan dalam Rajah 2.

Pembenaman Abakus menyelesaikan masalah penambahan

Untuk seni bina transformer standard, pembenaman Abakus meningkatkan prestasi generalisasi kepada 100-bit dan ke atas. Dalam Rajah 3 (kiri), pengarang menyerlahkan kelebihan perbandingan benam Abakus berbanding seni bina transformer standard dan benam apabila melakukan operasi aditif, mengambil ketepatan purata merentas semua kes merentas ketiga-tiga model.

Rajah 1 juga menunjukkan keputusan ketepatan untuk model pengubah standard yang dilatih dengan FIRE dan Abakus, yang telah diuji dalam domain (ID) dan luar domain (OOD).

Gelung dalam Transformer meningkatkan prestasi

Selepas menyelesaikan masalah pembenaman kedudukan, penulis seterusnya meneroka sama ada seni bina gelung boleh meningkatkan lagi keupayaan pengubah untuk melakukan penambahan berbilang digit. Mereka menggunakan istilah "blok berulang" untuk merujuk kepada set lapisan penyahkod dengan berat yang berbeza, dan "berulang" merujuk kepada bilangan kali blok berulang diulang. Pengarang menggunakan istilah kedalaman berkesan untuk merujuk kepada bilangan lapisan yang digunakan dalam pengubah, tidak kira sama ada beratnya unik. Melainkan dinyatakan sebaliknya, mereka menggunakan seni bina gelung maksimum, yang hanya bergelung melalui lapisan unik untuk mencapai kedalaman yang berkesan. Mereka juga menggunakan suntikan input dan sambungan baki untuk menyebarkan salinan input ke setiap lapisan dalam rangkaian.

Kelebihan Gelung

Dalam Rajah 3 (kanan), pengarang membandingkan semua varian seni bina menggunakan pemasukan FIRE dan NoPE untuk penambahan latihan dengan operan sehingga 40 bit. Walaupun bilangan parameter hanya 1/10 daripada model lain, kita dapat melihat bahawa pengubah bergelung (bergelung, dengan suntikan input dan kehilangan progresif) mencapai prestasi luar pengedaran yang terbaik apabila menggunakan sebarang jenis benam kedudukan. Dalam Rajah 8, penulis menunjukkan keteguhan keputusan ini merentasi pelbagai saiz data latihan.

Untuk model berulang, anda boleh memilih untuk menukar bilangan gelung bagi setiap hantaran hadapan semasa latihan. Ini cenderung untuk meningkatkan keupayaan generalisasi model kepada tugas yang lebih sukar semasa ujian, yang juga dipanggil pengiraan kerugian progresif. Fungsi kehilangan ini ialah gabungan cembung bagi nilai kehilangan dua hantaran ke hadapan, satu menggunakan bilangan literal kitaran (16 untuk model 1 × 16) dan satu lagi menggunakan bilangan kitaran yang lebih kecil secara rawak.

Seterusnya, penulis meneroka kesan menukar saiz blok gelung sambil mengekalkan kedalaman berkesan tetap. Mereka mengurangkan separuh bilangan lapisan dalam blok gelung dan menggandakan kiraan gelung, daripada model dengan 16 lapisan dalam blok dan hanya satu kiraan gelung (16 × 1, pengubah standard) kepada model dengan hanya satu lapisan dalam blok dan kiraan gelung Terdapat 16 kali (1 × 16) model.

Menganalisis keputusan ini melalui Rajah 4, penulis mendapati bahawa dalam beberapa kes menggabungkan gelung dan benam Abakus boleh meningkatkan lagi prestasi. Khususnya, pada masalah OOD, model dengan dua kitaran (8 × 2) menghasilkan separuh ralat model asiklik semata-mata (16 × 1), manakala pada masalah OOD dengan 100+, ketepatannya juga meningkat sedikit.

Akhir sekali, dalam Lampiran A.7.3, pengarang mengubah kedalaman berkesan model untuk menganalisis kesan bilangan parameter pada tugas ini, termasuk Abakus, FIRE dan pembenaman NoPE. Walaupun eksperimen dalam Rajah 4 adalah perbandingan yang saksama bagi kedalaman yang berbeza, model pengubah piawai tulen mempunyai lebih banyak parameter daripada model gelung yang sepadan. Dalam Jadual 3 dalam Lampiran, penulis merekodkan kuantiti parameter kepada juta terdekat.

Eksperimen

Para penyelidik bukan sahaja meneroka masalah penambahan, tetapi juga pendaraban dan pengisihan. Pendaraban Integer Khususnya, kajian ini menyerlahkan bahawa menggabungkan benam Abakus dengan FIRE juga meningkatkan ketepatan pada masalah pengedaran yang paling sukar (kanan bawah) berbanding garis dasar menggunakan FIRE sahaja.

Isih susunan

Jadual 1 menunjukkan prestasi pengubah piawai (lapan lapisan) yang dilatih dengan benam yang berbeza – FIRE, Abakus dan gabungannya. Keputusan menunjukkan bahawa kaedah pemasukan gabungan meningkatkan keupayaan generalisasi model.

Seperti yang ditunjukkan dalam Jadual 2, kami memerhatikan hasil bercampur-campur apabila memasangkan kombinasi benam Abakus+FIRE dengan seni bina model yang berbeza (kedalaman berkesan 8). .

Untuk butiran penyelidikan lanjut, sila rujuk kertas asal.

Atas ialah kandungan terperinci Selepas satu hari latihan pada GPU tunggal, Transformer boleh mencapai ketepatan 99% dalam menambah nombor 100 digit.. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!