MoE modular akan menjadi model asas untuk pembelajaran pelbagai tugas visual

Pembelajaran berbilang tugas (MTL) mempunyai banyak cabaran kerana kecerunan antara tugasan yang berbeza mungkin bercanggah. Untuk mengeksploitasi korelasi antara tugas, penulis memperkenalkan model Mod-Squad, yang merupakan model modular yang terdiri daripada pelbagai pakar. Model ini boleh mengoptimumkan pemadanan tugas dan pakar secara fleksibel, serta memilih beberapa pakar untuk tugas itu. Model ini membolehkan setiap pakar sepadan dengan hanya sebahagian daripada tugas, dan setiap tugas hanya sepadan dengan sebahagian daripada pakar, dengan itu memaksimumkan penggunaan hubungan positif antara tugas. Mod-Squad menyepadukan lapisan Mixture of Experts (MoE) ke dalam model Vision Transformer dan memperkenalkan fungsi kehilangan baharu yang menggalakkan pergantungan yang jarang tetapi kuat antara pakar dan tugas. Tambahan pula, untuk setiap tugasan, model hanya boleh mengekalkan sebahagian kecil rangkaian pakar dan mencapai prestasi yang sama seperti model besar asal. Model ini mencapai hasil terbaik pada set data besar Taskonomy dan set data PASCALContext bagi 13 tugas visi.

Alamat kertas: https://arxiv.org/abs/2212.08066

Alamat projek: https://vis-www.cs.umass.edu/mod-squad/

Alamat Github: https: //github.com/UMass-Foundation-Model/Mod-Squad

Tujuan pembelajaran pelbagai tugas (MTL) adalah untuk memodelkan hubungan antara tugasan , dan bina model bersatu untuk pelbagai tugas. Seperti yang ditunjukkan dalam Rajah 1, motivasi utama Mod-Squad adalah untuk membenarkan pakar dikemas kini hanya oleh beberapa tugas dan bukannya semua tugas, dan hanya sebahagian daripada pakar dikemas kini oleh setiap tugas. Ini membolehkan kapasiti penuh model digunakan sambil mengelakkan gangguan antara tugas.

Rajah 1. Mod-Squad: Pakar dan tugas memilih antara satu sama lain. MoE ViT: Semua pakar digunakan oleh semua tugas.

Berikut ialah pengenalan ringkas kepada artikel tersebut.

Struktur model

Rajah 2. Mod-Squad: Masukkan campuran pakar To Vision Transformer.

Seperti yang ditunjukkan dalam Rajah 2, struktur Mod-Squad adalah untuk memperkenalkan Mixture-of-expert (MoE) ke dalam Vision Transformer (ViT). MoE ialah model pembelajaran mesin di mana berbilang pakar membentuk model hibrid. Setiap pakar adalah model bebas, dan setiap model menyumbang secara berbeza kepada input yang berbeza. Akhir sekali, sumbangan semua pakar ditimbang dan digabungkan bersama untuk mendapatkan hasil akhir. Kelebihan pendekatan ini ialah ia boleh memilih pakar terbaik secara dinamik berdasarkan kandungan imej input dan mengawal jumlah pengiraan.

Selepas model KPM sebelum ini menumpu, pakar yang berbeza boleh digunakan mengikut gambar yang berbeza, tetapi untuk tugas tertentu, model akan menumpu untuk cenderung menggunakan semua pakar. Mod-Squad membenarkan model menggunakan pakar yang berbeza untuk imej, dan selepas penumpuan, model boleh mencapai keadaan di mana hanya sebahagian daripada pakar digunakan untuk sesuatu tugas. Seterusnya, kami akan memperkenalkan bagaimana ini dicapai.

Maksimumkan maklumat bersama antara pakar dan tugas

Kertas kerja ini mencadangkan model kebarangkalian bersama tugas dan pakar untuk mengoptimumkan peruntukan antara pakar E dan tugas T . Model kebarangkalian ini akan digunakan untuk mengira maklumat bersama antara pakar dan tugas, dan berfungsi sebagai fungsi kehilangan tambahan untuk mengoptimumkan rangkaian berat di MoE. Formula maklumat bersama adalah seperti berikut Kebarangkalian E dan T boleh diperolehi daripada rangkaian pemberat di MoE Untuk butiran, sila rujuk kertas.

Selepas memaksimumkan maklumat bersama antara tugas dan pakar, model boleh membenarkan pakar dan tugas itu jarang dan sangat hubungan kebergantungan yang kuat, seperti yang ditunjukkan dalam Rajah 3. Yang paling kiri ialah kekerapan pakar penggunaan tugas Mod-Squad. Seperti yang dapat dilihat, Mod-Squad mempunyai frekuensi yang lebih jarang tetapi lebih tajam antara misi dan pakar.

Rajah 3. Perbandingan plot kekerapan tugasan menggunakan pakar yang berbeza. Paksi mendatar mewakili pakar yang berbeza, paksi menegak mewakili tugas yang berbeza, dan warna yang lebih gelap mewakili kekerapan penggunaan yang lebih tinggi. Plot kekerapan Mod-Squad adalah lebih jarang dan lebih tajam.

Kelebihan pergantungan yang jarang dan sangat kuat antara tugas ini dan pakar ialah:

1 pakar yang sama;

2. Pakar cenderung digunakan oleh sekumpulan tugas yang berkaitan secara positif; digunakan sepenuhnya Penggunaan, tetapi setiap tugas hanya menggunakan sebahagian daripada kapasiti, dan kapasiti boleh dilaraskan mengikut tugasan; -task model besar untuk tugasan tertentu, dan Mempunyai prestasi yang sama seperti model yang lebih besar. Ciri ini boleh digunakan untuk mengekstrak model tugas tunggal yang kecil daripada model yang sangat berbilang tugas.

Berdasarkan kekerapan berkongsi pakar antara tugas, model juga boleh mengira persamaan antara tugas, seperti ditunjukkan dalam rajah di bawah. Dapat dilihat bahawa tugas berat sebelah 3D cenderung menggunakan pakar yang sama dan oleh itu lebih serupa.

Bahagian eksperimen

Mod-Squad boleh memangkas satu tugas tanpa kehilangan ketepatan paksi menegak rajah di bawah ialah prestasi, dan paksi mendatar ialah kuantiti parameter.

Terdapat juga peningkatan besar dalam set data besar Taskonomy Dapat dilihat bahawa Mod-Squad lebih tinggi secara purata MTL tulen 2.8 mata, dan mengekalkan prestasi yang sama selepas pemangkasan.

Berbanding dengan kaedah lain pada PASCAL-Context, Mod-Squad hampir dua mata lebih tinggi daripada kaedah KPM lain secara purata.

Sila rujuk teks asal untuk butiran.

Atas ialah kandungan terperinci MoE modular akan menjadi model asas untuk pembelajaran pelbagai tugas visual. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!