Model penyebaran gaya "matryoshka" Apple mengurangkan bilangan langkah latihan sebanyak 70%!

Satu penyelidikan terbaharu oleh Apple telah meningkatkan prestasi model resapan pada imej resolusi tinggi.

Menggunakan kaedah ini, bilangan langkah latihan untuk imej dengan resolusi yang sama dikurangkan lebih daripada 70%.

Pada resolusi 1024×1024, kualiti gambar langsung penuh, dan butirannya jelas kelihatan.

Apple menamakan pencapaian ini sebagai MDM, DM ialah singkatan dari Diffusion Model, dan M pertama ialah Matryoshka.

Sama seperti anak patung matryoshka sebenar, MDM menyusun proses peleraian rendah dalam proses resolusi tinggi, dan ia bersarang dalam berbilang lapisan.

Proses resapan resolusi tinggi dan rendah dijalankan serentak, yang sangat mengurangkan penggunaan sumber model resapan tradisional dalam proses resolusi tinggi.

Untuk imej resolusi 256×256, dalam persekitaran dengan saiz kelompok 1024, model resapan tradisional memerlukan 1.5 juta langkah latihan, manakala MDM hanya memerlukan 390,000 langkah, iaitu pengurangan lebih daripada 70% .

Selain itu, MDM menggunakan latihan hujung ke hujung dan tidak bergantung pada set data khusus dan model pra-latihan Ia meningkatkan kelajuan sambil tetap memastikan kualiti penjanaan dan fleksibel untuk digunakan.

Bukan sahaja anda boleh melukis imej beresolusi tinggi, tetapi anda juga boleh mensintesis video 16×256².

Beberapa netizen mengulas bahawa Apple akhirnya menyambungkan teks kepada imej.

Jadi, bagaimana sebenarnya teknologi "matryoshka" MDM berfungsi?

Menggabungkan keseluruhan dan progresif

Sebelum memulakan latihan, data perlu dipraproses imej akan disampel semula menggunakan algoritma tertentu untuk mendapatkan versi resolusi yang berbeza.

Kemudian kami menggunakan data resolusi berbeza ini untuk pemodelan UNet bersama UNet kecil mengendalikan resolusi rendah dan disarangkan ke dalam UNet besar yang mengendalikan resolusi tinggi.

Melalui sambungan resolusi silang, ciri dan parameter boleh dikongsi antara UNet dengan saiz yang berbeza.

Latihan MDM adalah proses langkah demi langkah.

Walaupun pemodelan dilakukan secara bersama, proses latihan tidak akan dilakukan untuk resolusi tinggi pada permulaan, tetapi akan berkembang secara beransur-ansur dari resolusi rendah.

Ini boleh mengelakkan sejumlah besar pengiraan, dan juga membolehkan pra-latihan UNet resolusi rendah untuk mempercepatkan proses latihan resolusi tinggi.

Semasa proses latihan, data latihan beresolusi tinggi akan ditambah secara beransur-ansur pada keseluruhan proses, membolehkan model menyesuaikan diri dengan resolusi yang semakin meningkat dan beralih dengan lancar kepada proses resolusi tinggi terakhir.

Namun, secara keseluruhan, selepas proses resolusi tinggi ditambah secara beransur-ansur, latihan MDM masih merupakan proses bersama hujung ke hujung.

Dalam latihan bersama pada resolusi berbeza, fungsi kehilangan pada resolusi berbilang mengambil bahagian dalam kemas kini parameter bersama-sama, mengelakkan pengumpulan ralat yang disebabkan oleh latihan pelbagai peringkat.

Setiap resolusi mempunyai kehilangan pembinaan semula yang sepadan bagi item data Kehilangan resolusi yang berbeza ditimbang dan digabungkan untuk memastikan kualiti penjanaan, kehilangan resolusi rendah mempunyai berat yang lebih besar.

Dalam fasa inferens, MDM juga menggunakan strategi yang menggabungkan keselarian dan kemajuan.

Selain itu, MDM juga menggunakan model klasifikasi imej terlatih (CFG) untuk membimbing pengoptimuman sampel yang dijana ke arah yang lebih munasabah, dan menambah hingar pada sampel resolusi rendah untuk menjadikannya lebih dekat dengan pengedaran resolusi tinggi sampel.

Jadi, apakah kesan MDM?

Parameter yang lebih sedikit menyaingi SOTA

Dari segi imej, pada set data ImageNet dan CC12M, FID MDM (semakin rendah nilai, semakin baik kesannya) dan prestasi CLIP adalah jauh lebih baik daripada model resapan biasa.

Antaranya, FID digunakan untuk menilai kualiti imej itu sendiri, dan CLIP menggambarkan tahap pemadanan antara imej dan arahan teks.

Berbanding dengan model SOTA seperti DALL E dan IMAGEN, prestasi MDM juga sangat hampir, tetapi parameter latihan MDM jauh lebih rendah daripada model ini.

Bukan sahaja ia lebih baik daripada model resapan biasa, prestasi MDM juga melebihi model resapan lata yang lain.

Hasil percubaan ablasi menunjukkan bahawa semakin banyak langkah latihan resolusi rendah, semakin jelas peningkatan kesan MDM sebaliknya, semakin banyak tahap bersarang, semakin sedikit bilangan langkah latihan yang diperlukan untuk mencapai CLIP yang sama skor .

Pemilihan parameter CFG adalah hasil pertukaran antara FID dan CLIP selepas beberapa ujian (skor CLIP yang tinggi sepadan dengan peningkatan kekuatan CFG).

Atas ialah kandungan terperinci Model penyebaran gaya "matryoshka" Apple mengurangkan bilangan langkah latihan sebanyak 70%!. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!