Idea baharu untuk lukisan AI: Model baharu sumber terbuka domestik dengan 5 bilion parameter, mencapai lonjakan dalam kebolehkawalan dan kualiti sintetik

• Alamat kertas: https://arxiv.org/pdf/2302.09778v2.pdf
• Alamat projek: https://github.com/damo-vilab/composer

Dalam tahun kebelakangan ini Baru-baru ini, model generatif berskala besar yang dipelajari pada data besar boleh mensintesis imej dengan cemerlang, tetapi mempunyai kebolehkawalan terhad. Kunci kepada penjanaan imej yang boleh dikawal bukan sahaja bergantung pada syarat tetapi, lebih penting lagi, pada komposisi. Yang terakhir boleh mengembangkan ruang kawalan secara eksponen dengan memperkenalkan sejumlah besar kombinasi berpotensi (cth. 100 imej dengan 8 perwakilan setiap satu, menghasilkan kira-kira 100^8 kombinasi). Konsep yang sama telah diterokai dalam bidang pemahaman bahasa dan adegan, di mana komposisi dikenali sebagai generalisasi gabungan, kemahiran mengenal pasti atau menjana bilangan gabungan baharu yang berpotensi tidak terhingga daripada set komponen yang diketahui terhad.

Satu penyelidikan terkini menyediakan paradigma generasi baharu yang boleh mengawal imej keluaran secara fleksibel (seperti reka letak ruang dan palet warna) sambil mengekalkan kualiti komposisi dan daya penciptaan model.

Penyelidikan ini mengambil komposisi sebagai idea teras pertama kali menguraikan imej kepada faktor perwakilan, dan kemudian melatih model resapan yang dikondisikan pada faktor ini untuk menyusun semula input. Semasa fasa inferens, perwakilan perantaraan yang kaya berfungsi sebagai elemen boleh gubah, menyediakan ruang reka bentuk yang besar untuk penciptaan kandungan yang boleh disesuaikan (iaitu, berkadar eksponen dengan bilangan faktor penguraian). Perlu diingat bahawa kaedah yang dinamakan Komposer menyokong pelbagai peringkat keadaan, seperti penerangan teks sebagai maklumat global, peta kedalaman dan lakaran sebagai panduan tempatan, histogram warna sebagai butiran peringkat rendah, dsb.

Selain meningkatkan kebolehkawalan, kajian ini mengesahkan bahawa Komposer boleh berfungsi sebagai rangka kerja umum yang memudahkan pelbagai tugas penjanaan klasik tanpa memerlukan latihan semula.

Kaedah

Rangka kerja yang diperkenalkan dalam artikel ini termasuk peringkat penguraian (imej dibahagikan kepada set komponen bebas) dan peringkat sintesis (komponen digabungkan semula menggunakan model resapan bersyarat) . Di sini kami mula-mula memperkenalkan secara ringkas model resapan dan arah bimbingan yang dilaksanakan menggunakan Komposer, dan kemudian memperincikan pelaksanaan penguraian dan sintesis imej.

2.1. Model resapan

Model resapan ialah model generatif yang menjana data daripada hingar Gaussian melalui lelaran proses denoising menjana data. Biasanya ralat min kuasa dua mudah digunakan sebagai sasaran denoising:

di mana, x_0 ialah syarat pilihan Data latihan c, ialah bunyi Gaussian aditif, a_t, σ_t ialah fungsi skalar bagi t, dan ialah model resapan dengan parameter yang boleh dipelajari θ. Bootstrapping tanpa pengelas telah digunakan secara meluas dalam kerja baru-baru ini untuk pensampelan data bersyarat bagi model penyebaran, di mana hingar yang diramalkan dilaraskan oleh:

Dalam formula

, ω ialah berat bimbingan. DDIM dan DPM-Solver sering digunakan untuk mempercepatkan proses pensampelan model resapan. DDIM juga boleh digunakan untuk menyongsangkan sampel x_0 kepada potensi hingar tulennya x_T, membolehkan pelbagai operasi penyuntingan imej.

Arah bimbingan: Komposer ialah model resapan yang boleh menerima pelbagai keadaan dan boleh mencapai pelbagai arah tanpa bimbingan pengelas:

c_1 dan c_2 ialah dua set syarat. Pilihan c_1 dan c_2 yang berbeza mewakili penekanan yang berbeza pada syarat.

Syarat dalam (c_2 c_1) ditekankan sebagai ω, syarat dalam (c_1 c_2) ditindas sebagai (1−ω), dan berat panduan keadaan dalam c1∩ c2 ialah 1.0. Panduan dwiarah: Dengan menggunakan keadaan c_1 untuk menyongsangkan imej x_0 kepada x_T yang mendasari, dan kemudian menggunakan syarat lain c_2 untuk sampel daripada x_T, kami dapat menggunakan Komposer untuk memanipulasi imej dengan cara yang terurai, di mana arah manipulasi adalah antara c_2 dan c_1 ditakrifkan oleh perbezaan.

Penguraian

mengkaji penguraian imej kepada perwakilan terurai yang menangkap pelbagai aspek imej dan menerangkan tugas Lapan perwakilan yang digunakan dalam , perwakilan ini diekstrak dalam masa nyata semasa proses latihan.

Kapsyen : Penyelidikan tentang penggunaan langsung tajuk teks imej atau maklumat penerangan dalam data latihan ( Untuk contoh, LAION-5B (Schuhmann et al., 2022) ) sebagai ilustrasi imej. Imej yang telah dilatih juga boleh dimanfaatkan untuk menggambarkan model apabila anotasi tidak tersedia. Kami mencirikan tajuk ini menggunakan ayat dan perkataan yang diekstrak daripada model CLIP ViT-L /14@336px (Radford et al., 2021) yang telah dilatih.

Semantik dan gaya : Kaji imej yang diekstrak menggunakan model CLIP ViT-L/14@336px yang telah terlatih Pembenaman digunakan untuk mencirikan semantik dan gaya imej, serupa dengan unCLIP.

Warna : Kaji statistik warna imej menggunakan histogram CIELab terlicin. Kuantiti ruang warna CIELab kepada 11 nilai rona, 5 nilai tepu dan 5 nilai cahaya, menggunakan sigma pelicinan 10. Daripada pengalaman, tetapan ini berfungsi dengan lebih baik.

Lakaran : Kaji aplikasi model pengesanan tepi, dan kemudian gunakan algoritma penyederhanaan lakaran untuk mengekstrak lakaran imej. Lakaran menangkap butiran tempatan imej dengan kurang semantik.

Instance : Kaji menggunakan model YOLOv5 terlatih untuk menggunakan segmentasi tika pada imej untuk mengekstrak topeng tika mereka. Topeng pembahagian contoh mencerminkan maklumat kategori dan bentuk objek visual.

Peta Kedalaman : Kaji penggunaan model anggaran kedalaman monokular pra-latihan untuk mengekstrak peta kedalaman imej dan menangkap imej secara kasar susun atur.

Intensiti : Kajian ini memperkenalkan imej skala kelabu asal sebagai representasi, memaksa model untuk belajar menangani tahap kebebasan yang terurai daripada warna. Untuk memperkenalkan rawak, kami membuat sampel seragam daripada set pemberat saluran RGB yang dipratentukan untuk mencipta imej skala kelabu.

Penyelidikan : Kaji pengenalan pelekat imej untuk membolehkan Komposer mengehadkan penjanaan atau operasi imej kepada kawasan yang boleh diedit . Perwakilan 4 saluran digunakan, di mana 3 saluran pertama sepadan dengan imej RGB bertopeng dan saluran terakhir sepadan dengan topeng binari.

Perlu diambil perhatian bahawa walaupun artikel ini menjalankan eksperimen menggunakan lapan syarat di atas, pengguna boleh menyesuaikan syarat secara bebas menggunakan Komposer.

Komposisi

mengkaji penggunaan model resapan untuk menggabungkan semula imej daripada set perwakilan. Secara khusus, kajian ini mengeksploitasi seni bina GLIDE dan mengubah suai modul penalaannya. Kajian ini meneroka dua mekanisme berbeza untuk menyesuaikan model berdasarkan perwakilan:

Penyesuaian global: Untuk perwakilan global termasuk pembenaman ayat CLIP, pembenaman imej dan palet warna, kami menayangkan dan menambahkannya pada pembenaman langkah masa. Selain itu, kami menayangkan pembenaman imej dan palet warna kepada lapan token tambahan dan menggabungkannya dengan pembenaman perkataan CLIP, yang kemudiannya digunakan sebagai konteks untuk perhatian silang dalam GLIDE, serupa dengan unCLIP. Memandangkan keadaan adalah sama ada aditif atau boleh ditutup secara terpilih dalam perhatian silang, keadaan boleh digugurkan terus semasa latihan dan inferens, atau keadaan global baharu diperkenalkan.

Penyaman penyetempatan: Untuk perwakilan setempat, termasuk lakaran, topeng segmentasi, peta kedalaman, imej keamatan dan imej topeng, kami menggunakan lapisan konvolusi bertindan untuk menayangkannya dengan hingar X_t terpendam mempunyai seragam -benam berdimensi dengan saiz spatial yang sama. Jumlah benam ini kemudiannya dikira dan hasilnya digabungkan kepada x_t, yang kemudiannya dimasukkan ke dalam UNet. Memandangkan benam adalah bahan tambahan, ia adalah mudah untuk menyesuaikan keadaan yang hilang atau menggabungkan keadaan setempat baharu.

Strategi latihan bersama: Adalah penting untuk mereka bentuk strategi latihan bersama yang membolehkan model belajar menyahkod imej daripada pelbagai kombinasi keadaan. Kajian itu bereksperimen dengan beberapa konfigurasi dan mengenal pasti konfigurasi mudah tetapi berkesan yang menggunakan kebarangkalian keluar bebas 0.5 untuk setiap keadaan, kebarangkalian 0.1 untuk mengalih keluar semua syarat, dan kebarangkalian 0.1 untuk mengekalkan semua syarat. Kebarangkalian keciciran khas sebanyak 0.7 digunakan untuk imej keamatan kerana ia mengandungi sebahagian besar maklumat tentang imej dan mungkin melemahkan keadaan lain semasa latihan.

Model resapan asas menghasilkan imej resolusi 64 × 64. Untuk menjana imej resolusi tinggi, kajian ini melatih dua model resapan tanpa syarat untuk pensampelan tinggi, masing-masing meningkatkan imej daripada 64 × 64 kepada 256 × 256, dan daripada resolusi 256 × 256 hingga 1024 × 1024. Seni bina model upsampling diubah suai daripada unCLIP, di mana penggunaan lebih banyak saluran dalam lapisan resolusi rendah dikaji dan blok perhatian kendiri diperkenalkan untuk mengembangkan kapasiti. Model terdahulu pilihan juga diperkenalkan yang menjana benam imej daripada sari kata. Secara empirikal, model terdahulu boleh meningkatkan kepelbagaian imej yang dijana di bawah kombinasi keadaan tertentu.

Eksperimen

Variasi: Menggunakan Komposer anda boleh mencipta imej baharu yang serupa dengan imej yang diberikan, tetapi dikondisikan pada subset tertentu perwakilannya Ia berbeza dalam sesetengah cara. Dengan berhati-hati memilih gabungan perwakilan yang berbeza, seseorang boleh mengawal julat perubahan imej secara fleksibel (Rajah 2a). Selepas memasukkan lebih banyak syarat, kaedah yang dibentangkan dalam kajian menjana varian unCLIP yang hanya menetapkan syarat pada pembenaman imej: menggunakan Komposer adalah mungkin untuk mencipta imej baharu yang serupa dengan imej tertentu, tetapi bersyarat pada subset tertentu bagi perwakilannya. . Refleksi, berbeza dalam beberapa cara. Dengan berhati-hati memilih gabungan perwakilan yang berbeza, seseorang boleh mengawal julat perubahan imej secara fleksibel (Rajah 2a). Selepas memasukkan lebih banyak syarat, kaedah yang dicadangkan mencapai ketepatan pembinaan semula yang lebih tinggi daripada unCLIP, yang hanya dikondisikan pada pembenaman imej.

Atas ialah kandungan terperinci Idea baharu untuk lukisan AI: Model baharu sumber terbuka domestik dengan 5 bilion parameter, mencapai lonjakan dalam kebolehkawalan dan kualiti sintetik. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!