Adakah LLM akan menjadi sejarah? bGPT sumber terbuka boleh menumbangkan paradigma pembelajaran mendalam: secara langsung mensimulasikan binari, membuka era baharu dunia digital analog!

Pencapaian terbaru bGPT yang dilancarkan oleh Microsoft Research Asia, model Transformer berasaskan byte ini membuka pintu baharu untuk kita meneroka dunia digital.

Tidak seperti model bahasa berasaskan perbendaharaan kata tradisional, bGPT adalah unik kerana ia boleh memproses data binari mentah secara terus tanpa dihadkan oleh format atau tugasan tertentu. Ia bertujuan untuk mensimulasikan sepenuhnya dunia digital, membuka kemungkinan baharu untuk pembangunan model.

Kertas: https://www.php.cn/link/ee88b3cea2051be97bcddf2e0d9a28f6

php. cn/link/359499f804ea7988921bf86c9377fb95

. 614c 8b42af334933e9261e53be

Dalam kertas penyelidikan mereka, pasukan penyelidik menunjukkan potensi besar bGPT untuk pemodelan. Dengan melaksanakan pemprosesan peringkat bait, bGPT bukan sahaja boleh menjana teks, imej dan audio, tetapi juga mensimulasikan tingkah laku komputer, termasuk algoritma penukaran format dan pemodelan keadaan CPU. Pendekatan merawat semua data sebagai jujukan bait ini membolehkan bGPT menyepadukan jenis data yang berbeza ke dalam rangka kerja yang sama.

Setelah dikeluarkan, kertas bGPT menyebabkan perbincangan meluas mengenai X (Twitter), menonjolkan potensi perubahan dalam model pembelajaran mendalam dan membuka kemungkinan baharu bagi model untuk benar-benar memahami dan mensimulasikan pelbagai aktiviti dalam dunia digital. Data binari: DNA asas yang membentuk dunia digitalData binari ialah asas dunia digital Ia dijalankan melalui pemproses komputer dan sistem pengendalian produk elektronik yang kami gunakan setiap hari, dan merupakan teras kepada semua data, peranti dan perisian. Oleh itu, berdasarkan asas ini, matlamat bGPT adalah untuk memahami logik dalaman sistem digital dengan mengkaji urutan data binari, dengan itu membentuk semula dan mensimulasikan pelbagai fenomena digital yang kompleks.

bGPT bukan sahaja boleh digunakan untuk penjanaan AI konvensional dan memahami tugas melalui pemprosesan peringkat bait, tetapi juga boleh mengendalikan lebih banyak aplikasi bukan tradisional. Sebagai contoh, ia boleh secara langsung mensimulasikan MIDI - format standard untuk penghantaran dan penyimpanan muzik, yang mana penyelidikan terdahulu telah mengelakkan pemodelan langsung kerana sifat perduaan MIDI.

Tetapi bGPT sememangnya sesuai untuk tugasan sedemikian dan boleh mensimulasikan algoritma penukaran data muzik dengan tepat, mencapai kadar ralat yang sangat rendah (0.0011 BPB) apabila menukar tatatanda ABC kepada format MIDI.

Dalam aplikasi praktikal, bGPT biasanya dapat melengkapkan penukaran antara simbol ABC dan fail MIDI dengan tepat, malah kadangkala boleh membetulkan ralat dalam fail asal untuk menjadikan penukaran muzik lebih tepat.

bGPT secara automatik menukar tatatanda ABC ke dalam format MIDI (di atas Perbandingan dengan data MIDI asal (di bawah) menyerlahkan perbezaan utama: walaupun data MIDI asal tiada Satu rentak (lihat gambar). ), menyebabkan iringan kord terputus, tetapi hasil yang ditukar oleh bGPT (lihat gambar di atas) mengisi jurang ini dengan betul, memastikan kelancaran iringan kord.

Pasukan penyelidik juga menganggap pemodelan CPU sebagai tugas perwakilan simulasi tingkah laku perkakasan: tugas ini memerlukan model menerima urutan arahan mesin peringkat rendah sebagai input, dan matlamatnya adalah untuk meramalkan dengan tepat bagaimana keadaan CPU dikemas kini selepas setiap arahan dilaksanakan sehingga program berhenti .

Dalam tugasan ini, bGPT menunjukkan ketepatan lebih 99.99%, menunjukkan kuasa dan kebolehskalaan model bait dalam memproses data binari asli.

Memandangkan program dan keadaan CPU awal, bGPT dapat meramal dengan tepat proses lengkap pelaksanaan CPU sehingga penamatan program. Dalam contoh ini, bGPT mengendalikan semua arahan CPU dengan tepat. Untuk memudahkan pemahaman, jujukan bait sebenar ditukar kepada format yang lebih mudah dibaca.

Dari bait kepada segala-galanya: Memecah sempadan dan bergerak ke arah pemodelan data bersatu

bGPT bukan sahaja boleh memproses data binari asli, tetapi juga menyepadukan berbilang jenis data ke dalam seni bina model bersatu, memperlakukan semua data sebagai jujukan Byte.

Pendekatan ini bukan sahaja memudahkan proses pemodelan data, tetapi juga menjadikan penyepaduan daripada mana-mana sumber data menjadi mudah tanpa perlu menyesuaikan model untuk jenis data tertentu.

Pasukan penyelidik memberikan contoh teks tradisional, imej dan fail audio dalam kertas, menunjukkan keupayaan bGPT dalam pemodelan data bersatu. Model bGPT yang mereka latih mempunyai kira-kira 100 juta parameter.

Hasil eksperimen menunjukkan bahawa jika dibandingkan dengan model yang sama saiz dengan GPT-2 (model teks), ViT (model visual) dan AST (model audio), bGPT menunjukkan prestasi yang setanding pada jenis data yang berbeza .

bGPT berprestasi sangat baik dalam penjanaan teks. Terima kasih kepada pengekodan teks peringkat baitnya, model ini tidak bergantung pada perbendaharaan kata dan oleh itu boleh menyokong semua bahasa.

Seni bina Transformer berlapisnya, walaupun overhed pengiraan serupa dengan GPT-2, boleh menjana teks sehingga 8KB, yang jauh melebihi had panjang GPT-2. Selepas pra-latihan pada data Wikipedia, teks yang dijana oleh bGPT adalah setanding dengan GPT-2 dalam kedua-dua gaya dan tema, membuktikan keupayaannya yang berkuasa dalam penjanaan teks.

bGPT dilatih terlebih dahulu pada set data Wikipedia, dan kualiti serta ketekalan topik bagi sampel teks yang dijana adalah setanding dengan GPT-2.

bGPT boleh menjana imej dengan meramalkan bait seterusnya dalam jujukan bait imej. Model ini telah dilatih terlebih dahulu pada set data ImageNet dan imej yang dijana mempunyai resolusi 32x32 piksel.

Walaupun sukar untuk menangkap dengan tepat hubungan ruang dua dimensi imej melalui jujukan bait pada skala semasa, menghasilkan artifak dan hingar dalam imej yang dijana, tekstur dan kesan cahaya dan bayang-bayang biasanya agak tepat.

Selain itu, imej yang dijana ini boleh dinyahkodkan ke dalam fail BMP seperti biasa. Pasukan penyelidik menegaskan bahawa dengan mengembangkan skala bGPT, serupa dengan kaedah pemodelan jujukan piksel iGPT yang dibangunkan oleh OpenAI, mungkin untuk mencapai kualiti yang lebih tinggi dan penjanaan imej yang lebih realistik.

Ini ialah set imej yang dijana oleh bGPT yang dilatih terlebih dahulu pada set data ImageNet. Walaupun tekstur dan kesan pencahayaan imej secara amnya tepat, mengenal pasti objek utama dalam imej yang dijana ini boleh menjadi mencabar.

bGPT merawat data audio sebagai jujukan bait dan boleh menjana sampel audio sepanjang 1 saat dengan kadar pensampelan 8000 Hz.

Model ini telah dilatih terlebih dahulu pada set data LibriSpeech dan diperhalusi serta ditunjukkan pada set data Speech Commands v2. Sampel audio yang dijana oleh bGPT mengekalkan tahap ketepatan yang tinggi, dengan beberapa sampel hampir tidak dapat dibezakan daripada audio sebenar. Berikut ialah satu set contoh yang menunjukkan keupayaan bGPT dalam bidang penjanaan audio.

Terokai dunia digital bait dengan bGPT

Model bahasa tradisional, tidak kira betapa hebatnya model tersebut, terutamanya memfokuskan pada pemprosesan teks bahasa semula jadi. Model bGPT memecahkan had pemprosesan teks melalui mekanisme pemprosesan berasaskan bait dan membuka kategori pemprosesan data baharu.

Kemajuan ini memberikan bGPT keupayaan untuk memproses pelbagai jenis data dengan lancar termasuk teks, imej, audio, dan juga data binari asli daripada algoritma dan perkakasan, membuka jalan untuk simulasi dan pemahaman yang menyeluruh tentang dunia digital.

Walaupun bGPT telah menunjukkan keupayaan yang menarik, ia mempunyai had dari segi overhed pengiraan, seperti pada masa ini hanya boleh memproses jujukan bait sehingga 8KB pada kad grafik konvensional Bagi mereka yang perlu menjana atau memproses jumlah yang besar data, Dari segi aplikasi, terdapat batasan yang jelas. Pelan kerja masa depan akan menumpukan pada membangunkan algoritma yang lebih cekap dan memanfaatkan kemajuan dalam perkakasan, bertujuan untuk meningkatkan keupayaan untuk memproses jujukan data yang lebih besar.

Peminat teknologi di seluruh dunia telah mula menantikan potensi masa depan bGPT, daripada pengoptimuman pemangkasan rangkaian dan pembelajaran kendiri kepada keupayaan konfigurasi semula rangkaian ultra-besar Perbincangan ini menjurus kepada a visi bersama: bGPT akhirnya mungkin merealisasikan Model bersatu yang mampu memproses dan mengeluarkan semua jenis data bait, benar-benar menjadi simulator komprehensif dunia digital.

Pasukan penyelidik telah menggunakan sumber terbuka kod dan model bGPT. Ini bermakna anda boleh terus melatih bGPT pada set data anda sendiri tanpa membuat sebarang pelarasan pada seni bina model dan meneroka prospek luas model bait dalam medan digital.

Atas ialah kandungan terperinci Adakah LLM akan menjadi sejarah? bGPT sumber terbuka boleh menumbangkan paradigma pembelajaran mendalam: secara langsung mensimulasikan binari, membuka era baharu dunia digital analog!. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!