Penjelasan terperinci tentang Latte: video Vincent sumber terbuka pertama di dunia DiT dilancarkan pada penghujung tahun lepas

Dengan kejayaan pelancaran Sora, model video DiT telah menarik perhatian dan perbincangan yang meluas. Mereka bentuk rangkaian neural yang stabil dan berskala sangat besar sentiasa menjadi tumpuan penyelidikan dalam bidang penjanaan penglihatan. Kejayaan model DiT membawa kemungkinan baharu untuk menskalakan penjanaan imej.

Walau bagaimanapun, disebabkan sifat data video yang sangat berstruktur dan kompleks, memperluaskan DiT ke domain penjanaan video adalah tugas yang mencabar. Pasukan yang terdiri daripada pasukan penyelidik dari Makmal Kepintaran Buatan Shanghai dan institusi lain menjawab soalan ini melalui eksperimen berskala besar.

Pada November tahun lalu, pasukan itu telah mengeluarkan model yang dibangunkan sendiri dipanggil Latte, yang teknologinya serupa dengan Sora. Latte ialah DiT video Wensheng sumber terbuka pertama di dunia dan telah mendapat perhatian meluas. Banyak rangka kerja sumber terbuka seperti Pelan Open-Sora (PKU) dan Open-Sora (ColossalAI) menggunakan dan merujuk kepada reka bentuk model Latte.

• Pautan sumber terbuka: https://github.com/Vchitect/Latte
• Laman utama projek: https://maxin-cn.projek/lattehub.
• Pautan kertas: https://arxiv.org/pdf/2401.03048v1.pdf

Mula-mula, mari kita lihat kesan penjanaan video Latte.

Pengenalan kaedah

Secara amnya, Latte mengandungi dua modul utama: VAE terlatih dan DiT video. Dalam VAE yang telah dilatih, pengekod bertanggungjawab untuk memampatkan video daripada ruang piksel kepada bingkai ruang terpendam demi bingkai, manakala video DiT bertanggungjawab untuk mengekstrak token dan melaksanakan pemodelan spatiotemporal untuk memproses perwakilan terpendam Akhirnya, peta penyahkod VAE ciri ini kembali ke ruang Pixel untuk menjana video. Bagi mendapatkan kualiti video yang terbaik, penyelidik memfokuskan kepada dua aspek penting dalam reka bentuk Latte, iaitu reka bentuk struktur keseluruhan model DiT video dan butiran amalan terbaik latihan model. . modul direka bentuk dari perspektif mekanisme perhatian spatiotemporal, dan dua varian (Varian) dikaji dalam setiap modul:

1 Modul mekanisme perhatian tunggal, dalam setiap modul Mengandungi perhatian masa atau ruang sahaja.

Pemodelan berjalin masa ruang (Varian 1): Modul masa dimasukkan selepas setiap modul ruang.

Pemodelan jujukan ruang-masa (Varian 2): Modul masa diletakkan sepenuhnya selepas modul ruang.

2. Modul mekanisme perhatian berbilang, setiap modul mengandungi kedua-dua mekanisme perhatian temporal dan spatial (varian rujukan terbuka-sora).

• Mekanisme perhatian spatiotemporal bersiri (Varian 3): Pemodelan bersiri mekanisme perhatian spatiotemporal.
• Mekanisme perhatian spatiotemporal selari (Varian 4): Pemodelan selari dan gabungan ciri mekanisme perhatian spatiotemporal.

Eksperimen menunjukkan (Rajah 2) bahawa dengan menetapkan jumlah parameter yang sama untuk empat varian model, varian 4 mempunyai perbezaan yang ketara dalam FLOPS berbanding tiga varian lain, jadi ia juga mempunyai FVD tertinggi Prestasi keseluruhan tiga varian lain adalah serupa. Varian 1 mencapai prestasi terbaik.

Rajah 2. Struktur model FVD

(2) Penerokaan reka bentuk optimum model Latte dan butiran latihan (Amalan terbaik)
• kepada struktur keseluruhan model , penulis juga meneroka Faktor yang mempengaruhi kesan penjanaan dalam model lain dan latihan disertakan.

1.Pengestrakan token: Dua kaedah, token bingkai tunggal (a) dan token spatio-temporal (b), telah diterokai yang pertama hanya memampatkan token pada tahap spatial, manakala yang terakhir memampatkan maklumat spatio-temporal di. pada masa yang sama. Eksperimen menunjukkan bahawa token bingkai tunggal adalah lebih baik daripada token spatio-temporal (Rajah 4). Berbanding dengan Sora, pengarang membuat spekulasi bahawa token spatio-temporal yang dicadangkan oleh Sora telah dimampatkan terlebih dahulu dalam dimensi masa melalui video VAE, dan serupa dengan reka bentuk Latte dalam ruang terpendam, hanya pemprosesan token bingkai tunggal dilakukan. . Suntikan bersyarat mod : Dua kaedah, (a) S-AdaLN dan (b) semua token, telah diterokai (Rajah 5). S-AdaLN menukar maklumat keadaan kepada pembolehubah dalam normalisasi dan menyuntiknya ke dalam model melalui MLP. Borang Semua token menukar semua syarat menjadi token bersatu sebagai input kepada model. Eksperimen telah membuktikan bahawa kaedah S-AdaLN lebih berkesan dalam mendapatkan hasil yang berkualiti tinggi daripada semua token

(Rajah 6). Sebabnya ialah S-AdaLN membolehkan maklumat disuntik terus ke dalam setiap modul. Walau bagaimanapun, semua token perlu menghantar maklumat bersyarat dari input ke lapisan akhir demi lapisan, dan terdapat kehilangan dalam proses aliran maklumat.

Rajah 5. (a) S-AdaLN dan (b) semua token.

Rajah 6. Kaedah suntikan bersyarat FVD

3 Pengekodan kedudukan spatial dan temporal: Terokai pengekodan kedudukan mutlak dan pengekodan kedudukan relatif. Pengekodan kedudukan yang berbeza mempunyai sedikit kesan pada kualiti video akhir

(Rajah 7). Oleh kerana tempoh penjanaan yang singkat, perbezaan dalam pengekodan kedudukan tidak mencukupi untuk menjejaskan kualiti video Untuk penjanaan video yang panjang, faktor ini perlu dipertimbangkan semula. . Eksperimen menunjukkan bahawa model yang dimulakan menggunakan ImageNet mempunyai kelajuan penumpuan yang lebih pantas, namun, apabila latihan berlangsung, model yang dimulakan secara rawak mencapai hasil yang lebih baik

(Rajah 8). Sebab yang mungkin ialah terdapat perbezaan pengedaran yang agak besar antara ImageNet dan set latihan FaceForensics, jadi ia gagal mempromosikan hasil akhir model. Untuk tugasan video Vincent, kesimpulan ini perlu dipertimbangkan semula. Dalam pengedaran set data am, pengedaran spatial kandungan imej dan video adalah serupa, dan penggunaan model T2I yang telah terlatih boleh mempromosikan T2V dengan banyak.

Figure 8. Parameter Inisialisasi FVD

5. token imej hanya bertanggungjawab untuk pengoptimuman parameter spatial. Latihan bersama telah meningkatkan keputusan akhir dengan ketara

(Jadual 2 dan Jadual 3). Kedua-dua gambar FID dan video FVD telah dikurangkan melalui latihan bersama Keputusan ini konsisten dengan rangka kerja berasaskan UNet [2][3] adalah konsisten.

6. Saiz Model: 4 saiz model yang berbeza telah diterokai, S, B, L dan XL (Jadual 1). Memperluas skala video DiT akan membantu meningkatkan kualiti sampel yang dijana dengan ketara

(Rajah 9). Kesimpulan ini juga membuktikan ketepatan penggunaan struktur Transformer dalam model penyebaran video untuk penskalaan seterusnya.

Jadual 1. Skala model latte pelbagai saiz

. Keputusan kualitatif dan kuantitatif (Jadual 2 dan Jadual 3) menunjukkan Latte mencapai prestasi terbaik, yang membuktikan reka bentuk keseluruhan model adalah cemerlang.

Jadual 2. Penilaian kualiti gambar UCF101

Jadual 3. Latte dan SoTA kualiti video. Sambungan

Untuk bukti lanjut Untuk prestasi umum Latte, penulis melanjutkan Latte kepada tugasan video Vincent, menggunakan model PixArt-alpha [4] yang telah dilatih sebagai permulaan parameter spatial Menurut prinsip reka bentuk optimum, selepas tempoh latihan, Latte pada mulanya telah mencapai keupayaan video Vincent. Pelan susulan adalah untuk mengesahkan had atas keupayaan penjanaan Latte dengan meningkatkan.

Perbincangan dan Ringkasan

Latte, sebagai sumber terbuka video Vincent DiT yang pertama di dunia, telah mencapai hasil yang memberangsangkan, bagaimanapun, disebabkan perbezaan besar dalam sumber pengkomputeran, terdapat masalah dalam kejelasan, kelancaran dan tempoh penjanaan. Masih terdapat jurang yang besar berbanding dengan Sora. Pasukan ini mengalu-alukan dan secara aktif mencari kerjasama dalam semua jenis, berharap dapat menggunakan kuasa sumber terbuka untuk mencipta model penjanaan video universal berskala besar yang dibangunkan sendiri dengan prestasi cemerlang.

Atas ialah kandungan terperinci Penjelasan terperinci tentang Latte: video Vincent sumber terbuka pertama di dunia DiT dilancarkan pada penghujung tahun lepas. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!