Microsoft multi-modal ChatGPT akan datang? 1.6 bilion parameter untuk mengendalikan tugas seperti melihat gambar dan menjawab soalan, ujian IQ, dsb.

Dalam bidang NLP, model bahasa besar (LLM) telah berjaya berfungsi sebagai antara muka universal dalam pelbagai tugas bahasa semula jadi. Selagi kita boleh menukar input dan output kepada teks, kita boleh menyesuaikan antara muka berasaskan LLM kepada tugas. Sebagai contoh, tugas ringkasan mengambil dokumen dan mengeluarkan maklumat ringkasan. Jadi, kita boleh memasukkan dokumen input ke dalam model bahasa ringkasan dan menjana ringkasan.

Walaupun aplikasi LLM berjaya dalam tugasan NLP, penyelidik masih bergelut untuk menggunakannya secara asli untuk data berbilang modal seperti imej dan audio. Sebagai komponen asas kecerdasan, persepsi multimodal adalah syarat yang diperlukan untuk mencapai kecerdasan buatan am, baik untuk pemerolehan pengetahuan dan berurusan dengan dunia sebenar. Lebih penting lagi, membuka kunci input multimodal boleh mengembangkan aplikasi model bahasa dalam bidang yang lebih bernilai tinggi, seperti robotik multimodal, kecerdasan dokumen dan robotik.

Oleh itu, pasukan Microsoft memperkenalkan bahasa berskala besar berbilang modal dalam kertas kerja "Language Is Not All You Need: aligning Perception with Language Models" Model (MLLM) - KOSMOS-1, yang boleh melihat modaliti umum, ikut arahan (iaitu pembelajaran sifar pukulan) dan belajar dalam konteks (iaitu pembelajaran beberapa pukulan) . Matlamat penyelidikan adalah untuk menyelaraskan persepsi dengan LLM supaya model boleh melihat dan bercakap. Para penyelidik melatih KOSMOS-1 dari awal mengikut kaedah METALM (lihat kertas "Model bahasa adalah antara muka tujuan umum").

• Alamat kertas: https://arxiv.org/ pdf/2302.14045.pdf
• Alamat projek: https://github.com/microsoft/unilm

Seperti yang ditunjukkan dalam Rajah 1 di bawah, pengkaji menggunakan model bahasa berasaskan Transformer sebagai antara muka umum dan menghubungkannya dengan modul persepsi. Mereka melatih model pada korpus multimodal berskala web, yang merangkumi data teks, imej dan teks yang dijalin sewenang-wenangnya serta pasangan kapsyen imej. Di samping itu, para penyelidik menentukur arahan silang-modal berikutan keupayaan dengan menghantar data bahasa tulen.

Akhir sekali, model KOSMOS-1 menyokong bahasa, bahasa persepsi dan tugas visual dalam tetapan pembelajaran sifar dan beberapa pukulan, seperti ditunjukkan dalam Jadual 1 di bawah.

Penyelidik menunjukkan beberapa contoh yang dihasilkan dalam Rajah 2 dan 3 di bawah. Selain pelbagai tugas bahasa semula jadi, model KOSMOS-1 mampu mengendalikan pelbagai tugas intensif secara persepsi seperti dialog visual, penjelasan visual, menjawab soalan visual, sari kata imej, ringkas persamaan matematik, klasifikasi imej OCR dan Zero-shot dengan penerangan. Mereka juga mewujudkan penanda aras ujian IQ berdasarkan Raven's Progressive Matrices (RPM) untuk menilai kebolehan penaakulan bukan lisan MLLM.

Contoh ini menunjukkan bahawa sokongan asli untuk persepsi pelbagai mod menyediakan peluang baharu untuk menggunakan LLM pada tugasan baharu . Di samping itu, berbanding dengan LLM, MLLM mencapai prestasi penaakulan akal yang lebih baik, menunjukkan bahawa pemindahan rentas modal memudahkan pemerolehan pengetahuan.

Memandangkan bilangan parameter model KOSMOS-1 ialah 1.6 bilion, sesetengah netizen menyatakan harapan untuk menjalankan model berbilang modal besar ini pada komputer mereka.

KOSMOS-1: Model bahasa berskala besar multimodal

Seperti yang ditunjukkan dalam Rajah 1, KOSMOS-1 ialah model bahasa multimodal yang boleh melihat modaliti umum dan mengikut Arahan juga boleh belajar dan menjana output dalam konteks. Secara khusus, tulang belakang KOSMOS-1 ialah model bahasa kausal berdasarkan Transformer. Sebagai tambahan kepada teks, modaliti lain juga boleh dibenamkan dan dimasukkan ke dalam model Seperti yang ditunjukkan dalam rajah di bawah, sebagai tambahan kepada bahasa, terdapat juga penyematan penglihatan, pertuturan, dsb. Penyahkod pengubah berfungsi sebagai antara muka umum untuk input multimodal. Setelah model dilatih, KOSMOS-1 juga boleh dinilai pada tugas bahasa dan tugas berbilang modal dalam tetapan sifar syot dan beberapa syot.

Penyahkod Transformer melihat modaliti dalam cara yang bersatu, dan maklumat input akan diratakan ke dalam urutan dengan token khas. Contohnya, mewakili permulaan jujukan dan mewakili penghujung jujukan. Token khas dan mewakili permulaan dan akhir pembenaman imej yang dikodkan.

Modul pembenaman mengekod token teks dan modaliti input lain ke dalam perwakilan vektor, untuk token input , kajian menggunakan jadual carian untuk memetakannya ke dalam benam. Untuk modaliti isyarat berterusan (cth., imej dan audio), input juga boleh diwakili sebagai kod diskret.

Selepas itu, pembenaman jujukan input yang diperoleh disalurkan kepada penyahkod berasaskan Transformer. Model kausal kemudiannya memproses jujukan secara autoregresif, menghasilkan token seterusnya. Secara ringkasnya, rangka kerja MLLM boleh mengendalikan pelbagai jenis data secara fleksibel selagi input diwakili sebagai vektor.

Latihan model

Yang pertama ialah set data latihan. Set data termasuk korpora teks, pasangan sari kata imej dan set data silang imej dan teks. Khususnya, korpus teks termasuk The Pile dan Common Crawl (CC); pasangan kapsyen imej termasuk Bahasa Inggeris LAION-2B, LAION-400M, COYO-700M dan Set data berbilang mod imej dan teks berasal dari Common Crawl syot kilat .

Set data ada, dan kemudian ada tetapan latihan. Komponen MLLM mengandungi 24 lapisan, dimensi tersembunyi 2048, 8192 FFN, 32 kepala perhatian dan saiz parameter 1.3B. Untuk mendayakan penumpuan model yang lebih baik, perwakilan imej diperoleh daripada model CLIP ViT-L/14 pra-latihan dengan dimensi ciri 1024. Imej dipraproses kepada resolusi 224 × 224 semasa latihan Selain itu, semua parameter model CLIP kecuali lapisan terakhir dibekukan semasa latihan. Jumlah bilangan parameter untuk KOSMOS-1 adalah lebih kurang 1.6B.

Hasil eksperimen

Kajian ini menjalankan satu siri eksperimen yang kaya Untuk menilai KOSMOS-1: tugas bahasa (pemahaman bahasa, penjanaan bahasa, klasifikasi teks bebas OCR (penaakulan akal bukan lisan (ujian bahasa persepsi); dan jawab, Web Q&A tugasan visual (pengkelasan imej sifar tangkapan, klasifikasi imej sifar tangkapan dengan penerangan).

Sari kata imej. Jadual berikut menunjukkan prestasi tangkapan sifar model berbeza pada COCO dan Flickr30k. Berbanding dengan model lain, KOSMOS-1 telah mencapai hasil yang ketara, dan prestasinya juga baik walaupun berdasarkan bilangan parameter jauh lebih kecil daripada Flamingo.

Jadual berikut menunjukkan perbandingan prestasi beberapa sampel:

Soal Jawab Visual. KOSMOS-1 mempunyai ketepatan dan keteguhan yang lebih tinggi daripada model Flamingo-3B dan Flamingo-9B:

Jadual berikut menunjukkan perbandingan prestasi beberapa sampel:

Ujian IQ. Ujian Penaakulan Raven adalah salah satu ujian yang paling biasa digunakan untuk menilai penaakulan bukan lisan. Rajah 4 menunjukkan contoh. Jadual 6 menunjukkan keputusan penilaian pada set data ujian IQ. KOSMOS-1 dapat melihat corak konsep abstrak dalam persekitaran bukan lisan dan kemudian menaakul unsur-unsur berikutnya di antara pelbagai pilihan. Untuk pengetahuan kami, ini adalah kali pertama model dapat melakukan ujian IQ Raven sampel sifar.

Soalan Jawab Web.

Soal Jawab Web bertujuan untuk mencari jawapan kepada soalan daripada halaman web. Ia memerlukan model untuk memahami kedua-dua semantik dan struktur teks. Keputusan adalah seperti berikut:

Gesaan rantaian pemikiran pelbagai mod.

Diilhamkan oleh gesaan rantaian pemikiran, artikel ini menjalankan percubaan dalam hal ini. Seperti yang ditunjukkan dalam Rajah 5, artikel ini menguraikan tugas persepsi bahasa kepada dua langkah. Memandangkan imej pada peringkat pertama, isyarat digunakan untuk membimbing model menghasilkan output yang memenuhi keperluan untuk menghasilkan hasil akhir.

Seperti yang dapat dilihat daripada Jadual 9, markah gesaan rantaian pemikiran pelbagai mod ialah 72.9 mata, yang mana adalah lebih tinggi daripada gesaan standard Mendapat 5.8 mata:

Untuk lebih banyak kandungan percubaan, sila rujuk kertas asal.

Atas ialah kandungan terperinci Microsoft multi-modal ChatGPT akan datang? 1.6 bilion parameter untuk mengendalikan tugas seperti melihat gambar dan menjawab soalan, ujian IQ, dsb.. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!