Strategi "meta-tip" inovatif pasukan Byte Fudan telah meningkatkan prestasi pemahaman imej model resapan, mencapai tahap yang tidak pernah berlaku sebelum ini!

Model penyebaran teks-ke-imej (T2I) cemerlang dalam menjana imej definisi tinggi berkat pra-latihan pada pasangan teks imej berskala besar.

Ini membawa kepada persoalan semula jadi: bolehkah model resapan digunakan untuk menyelesaikan tugas persepsi visual?

Baru-baru ini, pasukan dari ByteDance dan Universiti Fudan mencadangkan model penyebaran untuk mengendalikan tugas visual.

Alamat kertas: https://arxiv.org/abs/2312.14733

Projek sumber terbuka: https://github.com/fudan-zvg/meta-prompts

kepada pasukan Insight ialah pengenalan meta-isyarat yang boleh dipelajari ke dalam model resapan terlatih untuk mengekstrak ciri yang sesuai untuk tugas persepsi tertentu.

Pengenalan Teknikal

Pasukan menggunakan model penyebaran teks ke imej sebagai pengekstrak ciri untuk tugas persepsi visual.

Pertama, imej input dimampatkan oleh pengekod VQVAE, resolusi dikurangkan kepada 1/8 daripada saiz asal, dan perwakilan ciri ruang terpendam dihasilkan. Perlu diingat bahawa parameter pengekod VQVAE ditetapkan dan tidak mengambil bahagian dalam latihan seterusnya.

Langkah seterusnya ialah menghantar data tanpa bunyi tambahan ke UNet untuk pengekstrakan ciri. Untuk menyesuaikan diri dengan lebih baik dengan tugas yang berbeza, UNet menerima pembenaman langkah masa termodulat dan berbilang meta-kiu serentak untuk menjana ciri konsisten bentuk.

Semasa keseluruhan proses, untuk meningkatkan ekspresi ciri, kaedah ini melakukan pemurnian berulang. Ini membolehkan gabungan ciri interaktif yang lebih baik daripada lapisan berbeza dalam UNet. Dalam kitaran kedua, parameter UNet diselaraskan oleh ciri modulasi temporal tertentu yang boleh dipelajari.

Akhir sekali, ciri berskala berbilang yang dijana oleh UNet dimasukkan ke dalam penyahkod yang direka khusus untuk tugas penglihatan sasaran.

Reka bentuk gesaan meta yang boleh dipelajari

Model resapan stabil menggunakan seni bina UNet untuk menyepadukan gesaan teks ke dalam ciri imej melalui perhatian silang, merealisasikan graf Vincentian. Penyepaduan ini memastikan penjanaan imej adalah tepat dari segi konteks dan semantik.

Walau bagaimanapun, kepelbagaian tugas persepsi visual melangkaui kategori ini, kerana pemahaman imej menghadapi cabaran yang berbeza dan sering kekurangan maklumat teks sebagai panduan, menjadikan kaedah dipacu teks kadangkala tidak praktikal.

Untuk menangani cabaran ini, pendekatan pasukan teknikal menggunakan strategi yang lebih pelbagai - daripada bergantung pada gesaan teks luaran, kami mereka bentuk gesaan meta boleh dipelajari dalaman yang dipanggil gesaan meta ini disepadukan ke dalam model penyebaran untuk disesuaikan kepada tugasan persepsi.

Gesaan meta dinyatakan dalam bentuk matriks, yang mewakili bilangan gesaan meta dan mewakili dimensi. Model resapan persepsi dengan gesaan meta mengelakkan keperluan untuk gesaan teks luaran, seperti label kategori set data atau tajuk imej dan tidak memerlukan pengekod teks terlatih untuk menjana gesaan teks akhir.

Gesaan meta boleh dilatih dari hujung ke hujung berdasarkan tugasan sasaran dan set data untuk mewujudkan keadaan penyesuaian yang disesuaikan khas untuk menolak UNet. Gesaan meta ini mengandungi maklumat semantik yang kaya yang disesuaikan dengan tugas tertentu. Contohnya:

- Dalam tugasan segmentasi semantik, gesaan meta secara berkesan menunjukkan keupayaan untuk mengenal pasti kategori, dan gesaan meta yang sama cenderung untuk mengaktifkan ciri kategori yang sama.

- Dalam tugasan anggaran kedalaman, gesaan meta menunjukkan keupayaan untuk melihat kedalaman, dan nilai pengaktifan berubah dengan kedalaman, membenarkan gesaan memfokus pada objek pada jarak yang konsisten.

- Dalam anggaran pose, gesaan meta mempamerkan set keupayaan yang berbeza, terutamanya persepsi perkara penting, yang membantu dalam pengesanan pose manusia.

Bersama-sama, hasil kualitatif ini menyerlahkan keberkesanan gesaan meta yang dicadangkan oleh pasukan teknikal dalam mengaktifkan kebolehan berkaitan tugas dalam pelbagai tugas.

Sebagai alternatif kepada gesaan teks, gesaan meta mengisi jurang antara model penyebaran teks ke imej dan tugas persepsi visual. .

Walaupun butiran peringkat rendah ini mencukupi untuk tugasan yang menekankan tekstur dan butiran halus, tugas persepsi visual selalunya memerlukan pemahaman kandungan yang merangkumi butiran peringkat rendah dan tafsiran semantik peringkat tinggi.

Oleh itu, ia bukan sahaja perlu menjana ciri yang kaya, ia juga sangat penting untuk menentukan gabungan ciri berbilang skala ini yang boleh memberikan perwakilan terbaik untuk tugas semasa.

Di sinilah gesaan meta masuk -

Gesaan ini mengekalkan pengetahuan kontekstual khusus untuk set data yang digunakan semasa latihan. Pengetahuan kontekstual ini membolehkan gesaan meta bertindak sebagai penapis untuk penggabungan semula ciri, membimbing proses pemilihan ciri dan menapis ciri yang paling relevan untuk tugasan daripada banyak ciri yang dijana oleh UNet.

Pasukan menggunakan pendekatan produk titik untuk menggabungkan kekayaan ciri berbilang skala UNet dengan kebolehsuaian tugas gesaan meta.

Pertimbangkan ciri berbilang skala, setiap satunya. dan mewakili ketinggian dan lebar peta ciri. Gesaan meta. Ciri yang disusun semula pada setiap skala dikira sebagai:

Akhir sekali, ciri ini yang ditapis oleh gesaan meta kemudian dimasukkan ke dalam penyahkod khusus tugasan. .

Diinspirasikan oleh mekanisme ini, pasukan teknikal mereka bentuk proses penghalusan berulang yang mudah untuk tugas persepsi visual - daripada menambah bunyi pada ciri output, ciri output UNet dimasukkan terus ke dalam UNet dalam satu gelung.

Pada masa yang sama, untuk menyelesaikan masalah yang tidak konsisten yang apabila model melalui gelung, pengedaran ciri input berubah tetapi parameter UNet kekal tidak berubah, pasukan teknikal memperkenalkan pembenaman langkah waktu yang boleh dipelajari dan unik untuk setiap gelung untuk memodulasi parameter UNet.

Ini memastikan rangkaian kekal boleh disesuaikan dan responsif kepada kebolehubahan ciri input dalam langkah yang berbeza, mengoptimumkan proses pengekstrakan ciri dan meningkatkan prestasi model dalam tugas pengecaman visual.

Hasilnya menunjukkan bahawa kaedah ini telah mencapai hasil yang optimum pada set data tugas persepsi berbilang. .

1. Peningkatan dalam tugas persepsi visual: Penyelidikan ini boleh meningkatkan prestasi pelbagai tugas persepsi visual, seperti pembahagian imej, anggaran kedalaman dan anggaran pose. Penambahbaikan ini boleh digunakan pada bidang seperti pemanduan autonomi, analisis imej perubatan dan sistem penglihatan robot.
2. Model penglihatan komputer yang dipertingkatkan: Teknologi yang dicadangkan boleh menjadikan model penglihatan komputer lebih tepat dan cekap dalam mengendalikan pemandangan yang kompleks, terutamanya jika tiada penerangan teks yang jelas. Ini amat penting untuk aplikasi seperti pemahaman kandungan imej.
3. Aplikasi merentas lapangan: Kaedah dan penemuan kajian ini boleh memberi inspirasi kepada penyelidikan dan aplikasi merentas lapangan, seperti dalam penciptaan seni, realiti maya dan realiti tambahan, untuk meningkatkan kualiti dan interaktiviti imej dan video .
4. Pandangan jangka panjang: Dengan kemajuan teknologi, kaedah ini boleh dipertingkatkan lagi, membawa penjanaan imej yang lebih maju dan teknologi pemahaman kandungan.

Pengenalan pasukan

Pasukan penciptaan pintar ialah pusat teknologi AI & multimedia ByteDance, meliputi penglihatan komputer, penyuntingan audio dan video, pemprosesan kesan khas dan bidang teknikal lain, bergantung pada senario perniagaan yang kaya, sumber infrastruktur dan teknikal syarikat. kerjasama Suasana merealisasikan gelung tertutup algoritma canggih-sistem kejuruteraan-produk, bertujuan untuk menyediakan perniagaan dalaman syarikat dengan pemahaman kandungan termaju, penciptaan kandungan, pengalaman interaktif dan keupayaan penggunaan serta penyelesaian industri dalam pelbagai bentuk.

Pada masa ini, pasukan penciptaan pintar telah membuka keupayaan teknikal dan perkhidmatannya kepada perusahaan melalui Volcano Engine, platform perkhidmatan awan yang dimiliki oleh ByteDance. Lebih banyak jawatan yang berkaitan dengan algoritma model besar dibuka, sila klik 「Baca teks asal」 untuk melihat.

Atas ialah kandungan terperinci Strategi "meta-tip" inovatif pasukan Byte Fudan telah meningkatkan prestasi pemahaman imej model resapan, mencapai tahap yang tidak pernah berlaku sebelum ini!. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!