


Penyesuai I2V daripada komuniti SD: tiada konfigurasi diperlukan, pasang dan main, serasi sempurna dengan pemalam video Tusheng
Tugas penjanaan imej-ke-video (I2V) adalah cabaran dalam bidang penglihatan komputer yang bertujuan untuk menukar imej statik kepada video dinamik. Kesukaran tugas ini adalah untuk mengekstrak dan menjana maklumat dinamik dalam dimensi temporal daripada imej tunggal sambil mengekalkan keaslian dan keselarasan visual kandungan imej. Kaedah I2V sedia ada selalunya memerlukan seni bina model yang kompleks dan sejumlah besar data latihan untuk mencapai matlamat ini.
Baru-baru ini, hasil penyelidikan baharu "I2V-Adapter: A General Image-to-Video Adapter for Video Diffusion Models" yang diketuai oleh Kuaishou telah dikeluarkan. Penyelidikan ini memperkenalkan kaedah penukaran imej-ke-video yang inovatif dan mencadangkan modul penyesuai ringan, Penyesuai I2V. Modul penyesuai ini mampu menukar imej statik kepada video dinamik tanpa mengubah struktur asal dan parameter pra-latihan bagi model penjanaan teks-ke-video (T2V) sedia ada. Kaedah ini mempunyai prospek aplikasi yang luas dalam bidang penukaran imej kepada video, dan boleh membawa lebih banyak kemungkinan kepada penciptaan video, komunikasi media dan bidang lain. Pengeluaran hasil penyelidikan adalah sangat penting untuk mempromosikan pembangunan teknologi imej dan video, dan menyediakan alat dan kaedah yang berkesan untuk penyelidik dalam bidang berkaitan. . .html
Alamat kod: https://github.com/I2V-Adapter/I2V-Adapter-repo
- Berbanding dengan kaedah sedia ada, I2V-Adapter mempunyai lebih banyak peningkatan parameter yang boleh dilatih. dibuat, dan bilangan parameter boleh mencecah serendah 22M, iaitu hanya 1% daripada penyelesaian arus perdana Stable Video Diffusion. Pada masa yang sama, penyesuai juga serasi dengan model T2I tersuai (seperti DreamBooth, Lora) dan alat kawalan (seperti ControlNet) yang dibangunkan oleh komuniti Stable Diffusion. Melalui eksperimen, para penyelidik membuktikan keberkesanan I2V-Adapter dalam menjana kandungan video berkualiti tinggi, membuka kemungkinan baharu untuk aplikasi kreatif dalam bidang I2V.
- Pengenalan kaedah
- Pemodelan temporal dengan Stable Diffusion
Pengenalan imej,dibandingkan dengan penjanaan imej,dibandingkan dengan video bingkai video seks. Kebanyakan kaedah semasa adalah berdasarkan model T2I yang telah dilatih, seperti Stable Diffusion dan SDXL, dengan memperkenalkan modul pemasaan untuk memodelkan maklumat pemasaan dalam video. Diinspirasikan oleh AnimateDiff, model yang pada asalnya direka untuk tugas T2V tersuai, ia memodelkan maklumat pemasaan dengan memperkenalkan modul pemasaan yang dipisahkan daripada model T2I, dan mengekalkan keupayaan model T2I asal untuk menjana video yang lancar . Oleh itu, penyelidik percaya bahawa modul temporal pra-latihan boleh dianggap sebagai perwakilan temporal universal dan boleh digunakan pada senario penjanaan video lain, seperti penjanaan I2V, tanpa sebarang penalaan halus. Oleh itu, para penyelidik secara langsung menggunakan modul pemasaan AnimateDiff yang telah terlatih dan memastikan parameternya tetap.
Penyesuai untuk lapisan perhatian
Satu lagi cabaran dalam tugas I2V ialah untuk mengekalkan maklumat ID imej input. Terdapat dua penyelesaian semasa utama: satu ialah menggunakan pengekod imej yang telah terlatih untuk mengekod imej input, dan menyuntik ciri yang dikodkan ke dalam model melalui mekanisme perhatian silang untuk membimbing proses denoising; digabungkan dengan input bising dalam dimensi saluran dan kemudian disuap bersama ke rangkaian seterusnya. Walau bagaimanapun, kaedah terdahulu mungkin menyebabkan ID video yang dijana berubah kerana sukar bagi pengekod imej untuk menangkap maklumat asas manakala kaedah yang terakhir sering memerlukan perubahan struktur dan parameter model T2I, mengakibatkan kos latihan yang tinggi dan lemah keserasian.
Untuk menyelesaikan masalah di atas, penyelidik mencadangkan I2V-Adapter. Khususnya, penyelidik memasukkan imej input dan input hingar ke rangkaian secara selari Dalam blok ruang model, semua bingkai juga akan menanyakan maklumat bingkai pertama, iaitu ciri kunci dan nilai datang dari bingkai pertama tanpa bunyi. , dan output Hasilnya ditambah kepada perhatian diri model asal. Matriks pemetaan output dalam modul ini dimulakan dengan sifar dan hanya matriks pemetaan output dan matriks pemetaan pertanyaan dilatih. Untuk meningkatkan lagi pemahaman model tentang maklumat semantik imej input, penyelidik memperkenalkan penyesuai kandungan yang telah terlatih (artikel ini menggunakan Penyesuai IP [8]) untuk menyuntik ciri semantik imej.
Frame Similarity Prior
Untuk meningkatkan lagi kestabilan hasil yang dijana, para penyelidik mencadangkan persamaan antara bingkai sebelum mencapai keseimbangan antara kestabilan dan keamatan gerakan video yang dihasilkan. Andaian utama ialah pada tahap hingar Gaussian yang agak rendah, bingkai pertama yang bising dan bingkai seterusnya yang bising adalah cukup hampir, seperti yang ditunjukkan dalam rajah di bawah:
Jadi, penyelidik mengandaikan bahawa semua struktur bingkai Serupa , dan menjadi sukar untuk dibezakan selepas menambah sejumlah hingar Gaussian, jadi imej input hingar boleh digunakan sebagai input priori untuk bingkai berikutnya. Untuk menghapuskan maklumat frekuensi tinggi yang mengelirukan, para penyelidik juga menggunakan pengendali kabur Gaussian dan pencampuran topeng rawak. Khususnya, operasi diberikan oleh formula berikut:
Keputusan eksperimen
Hasil kuantitatif
Artikel Q.V yang dikira secara kuantitatif ini st Bingkai ketekalan), FlowScore (amplitud gerakan) dan WarppingError (ralat gerakan) digunakan untuk menilai kualiti video yang dihasilkan. Jadual 1 menunjukkan bahawa I2V-Adapter menerima skor estetik tertinggi dan juga melebihi semua skema perbandingan dari segi ketekalan bingkai pertama. Di samping itu, video yang dihasilkan oleh I2V-Adapter mempunyai amplitud gerakan terbesar dan ralat gerakan yang agak rendah, menunjukkan bahawa model ini mampu menjana lebih banyak video dinamik sambil mengekalkan ketepatan gerakan temporal.
Hasil kualitatif
Animasi Imej (kiri ialah input, kanan ialah output):
w/ T2I Diperibadikan (di Input kiri, kanan ialah output):
w/ ControlNet (kiri ialah input, kanan ialah output):
Ringkasan
Kertas kerja ini mencadangkan I2V-Adapter, modul ringan pasang dan main untuk tugas penjanaan imej-ke-video. Kaedah ini memastikan struktur blok ruang dan blok gerakan serta parameter model T2V asal tetap, memasukkan bingkai pertama tanpa hingar dan bingkai berikutnya dengan hingar selari, dan membenarkan semua bingkai berinteraksi dengan bingkai pertama tanpa hingar melalui mekanisme perhatian , dengan itu Menghasilkan video yang koheren secara sementara dan konsisten dengan bingkai pertama. Penyelidik telah menunjukkan keberkesanan kaedah ini pada tugasan I2V melalui eksperimen kuantitatif dan kualitatif. Selain itu, reka bentuk decouplednya membolehkan penyelesaian digabungkan secara langsung dengan modul seperti DreamBooth, Lora dan ControlNet, membuktikan keserasian penyelesaian dan mempromosikan penyelidikan mengenai penjanaan imej-ke-video yang disesuaikan dan dikawal.
Atas ialah kandungan terperinci Penyesuai I2V daripada komuniti SD: tiada konfigurasi diperlukan, pasang dan main, serasi sempurna dengan pemalam video Tusheng. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Bagi anda yang mungkin baru dalam lajur saya, saya secara meluas meneroka kemajuan terkini di AI di seluruh papan, termasuk topik seperti yang terkandung AI, penaakulan AI, terobosan berteknologi tinggi di AI, kejuruteraan segera, latihan AI, Fielding of AI, AI Re Re,

Pelan Tindakan Benua AI yang bercita -cita tinggi Eropah bertujuan untuk mewujudkan EU sebagai pemimpin global dalam kecerdasan buatan. Unsur utama ialah penciptaan rangkaian AI Gigafactories, setiap perumahan sekitar 100,000 cip AI maju - empat kali kapasiti

Pendekatan Bersatu Microsoft ke Aplikasi Ejen AI: Kemenangan yang jelas untuk Perniagaan Pengumuman baru -baru ini Microsoft mengenai keupayaan ejen AI baru terkesan dengan persembahan yang jelas dan bersatu. Tidak seperti banyak pengumuman teknologi yang terjatuh di TE

Memo CEO Shopify Tobi Lütke baru -baru ini dengan berani mengisytiharkan penguasaan AI sebagai harapan asas bagi setiap pekerja, menandakan peralihan budaya yang signifikan dalam syarikat. Ini bukan trend seketika; Ini adalah paradigma operasi baru yang disatukan ke p

Kerangka utama Z17 IBM: Mengintegrasikan AI untuk operasi perniagaan yang dipertingkatkan Bulan lalu, di ibu pejabat New York IBM, saya menerima pratonton keupayaan Z17. Membina kejayaan Z16 (dilancarkan pada tahun 2022 dan menunjukkan pendapatan yang berterusan berkembang

Buka kunci keyakinan yang tidak dapat disangkal dan menghapuskan keperluan untuk pengesahan luaran! Lima chatgpt ini akan membimbing anda ke arah kepercayaan diri yang lengkap dan peralihan transformatif dalam persepsi diri. Cukup salin, tampal, dan sesuaikan dengan pendahuluan

Kajian baru -baru ini oleh Anthropic, sebuah syarikat keselamatan dan penyelidikan kecerdasan buatan, mula mendedahkan kebenaran tentang proses -proses yang kompleks ini, menunjukkan kerumitan yang mengganggu sama dengan domain kognitif kita sendiri. Kecerdasan semulajadi dan kecerdasan buatan mungkin lebih serupa daripada yang kita fikirkan. Mengintip di dalam: Kajian Interpretasi Antropik Penemuan baru dari penyelidikan yang dijalankan oleh antropik mewakili kemajuan yang signifikan dalam bidang interpretasi mekanistik, yang bertujuan untuk membalikkan pengkomputeran dalaman AI -bukan hanya memerhatikan apa yang AI lakukan, tetapi memahami bagaimana ia melakukannya di tahap neuron buatan. Bayangkan cuba memahami otak dengan melukis kebakaran neuron apabila seseorang melihat objek tertentu atau berfikir tentang idea tertentu. A

Dragonwing Qualcomm: Lonjakan Strategik ke Perusahaan dan Infrastruktur Qualcomm secara agresif memperluaskan jangkauannya di luar mudah alih, mensasarkan pasaran perusahaan dan infrastruktur di seluruh dunia dengan jenama Dragonwing yang baru. Ini bukan sekadar rebran


Alat AI Hot

Undresser.AI Undress
Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover
Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool
Gambar buka pakaian secara percuma

Clothoff.io
Penyingkiran pakaian AI

AI Hentai Generator
Menjana ai hentai secara percuma.

Artikel Panas

Alat panas

ZendStudio 13.5.1 Mac
Persekitaran pembangunan bersepadu PHP yang berkuasa

Muat turun versi mac editor Atom
Editor sumber terbuka yang paling popular

Pelayar Peperiksaan Selamat
Pelayar Peperiksaan Selamat ialah persekitaran pelayar selamat untuk mengambil peperiksaan dalam talian dengan selamat. Perisian ini menukar mana-mana komputer menjadi stesen kerja yang selamat. Ia mengawal akses kepada mana-mana utiliti dan menghalang pelajar daripada menggunakan sumber yang tidak dibenarkan.

SublimeText3 Linux versi baharu
SublimeText3 Linux versi terkini

SublimeText3 versi Cina
Versi Cina, sangat mudah digunakan