cari
RumahPeranti teknologiAIPenyesuai I2V daripada komuniti SD: tiada konfigurasi diperlukan, pasang dan main, serasi sempurna dengan pemalam video Tusheng

Tugas penjanaan imej-ke-video (I2V) adalah cabaran dalam bidang penglihatan komputer yang bertujuan untuk menukar imej statik kepada video dinamik. Kesukaran tugas ini adalah untuk mengekstrak dan menjana maklumat dinamik dalam dimensi temporal daripada imej tunggal sambil mengekalkan keaslian dan keselarasan visual kandungan imej. Kaedah I2V sedia ada selalunya memerlukan seni bina model yang kompleks dan sejumlah besar data latihan untuk mencapai matlamat ini.

Baru-baru ini, hasil penyelidikan baharu "I2V-Adapter: A General Image-to-Video Adapter for Video Diffusion Models" yang diketuai oleh Kuaishou telah dikeluarkan. Penyelidikan ini memperkenalkan kaedah penukaran imej-ke-video yang inovatif dan mencadangkan modul penyesuai ringan, Penyesuai I2V. Modul penyesuai ini mampu menukar imej statik kepada video dinamik tanpa mengubah struktur asal dan parameter pra-latihan bagi model penjanaan teks-ke-video (T2V) sedia ada. Kaedah ini mempunyai prospek aplikasi yang luas dalam bidang penukaran imej kepada video, dan boleh membawa lebih banyak kemungkinan kepada penciptaan video, komunikasi media dan bidang lain. Pengeluaran hasil penyelidikan adalah sangat penting untuk mempromosikan pembangunan teknologi imej dan video, dan menyediakan alat dan kaedah yang berkesan untuk penyelidik dalam bidang berkaitan. . .html

Penyesuai I2V daripada komuniti SD: tiada konfigurasi diperlukan, pasang dan main, serasi sempurna dengan pemalam video Tusheng

Alamat kod: https://github.com/I2V-Adapter/I2V-Adapter-repo

  • Berbanding dengan kaedah sedia ada, I2V-Adapter mempunyai lebih banyak peningkatan parameter yang boleh dilatih. dibuat, dan bilangan parameter boleh mencecah serendah 22M, iaitu hanya 1% daripada penyelesaian arus perdana Stable Video Diffusion. Pada masa yang sama, penyesuai juga serasi dengan model T2I tersuai (seperti DreamBooth, Lora) dan alat kawalan (seperti ControlNet) yang dibangunkan oleh komuniti Stable Diffusion. Melalui eksperimen, para penyelidik membuktikan keberkesanan I2V-Adapter dalam menjana kandungan video berkualiti tinggi, membuka kemungkinan baharu untuk aplikasi kreatif dalam bidang I2V.
  • Pengenalan kaedah
  • Pemodelan temporal dengan Stable Diffusion

Pengenalan imej,dibandingkan dengan penjanaan imej,dibandingkan dengan video bingkai video seks. Kebanyakan kaedah semasa adalah berdasarkan model T2I yang telah dilatih, seperti Stable Diffusion dan SDXL, dengan memperkenalkan modul pemasaan untuk memodelkan maklumat pemasaan dalam video. Diinspirasikan oleh AnimateDiff, model yang pada asalnya direka untuk tugas T2V tersuai, ia memodelkan maklumat pemasaan dengan memperkenalkan modul pemasaan yang dipisahkan daripada model T2I, dan mengekalkan keupayaan model T2I asal untuk menjana video yang lancar . Oleh itu, penyelidik percaya bahawa modul temporal pra-latihan boleh dianggap sebagai perwakilan temporal universal dan boleh digunakan pada senario penjanaan video lain, seperti penjanaan I2V, tanpa sebarang penalaan halus. Oleh itu, para penyelidik secara langsung menggunakan modul pemasaan AnimateDiff yang telah terlatih dan memastikan parameternya tetap.

Penyesuai I2V daripada komuniti SD: tiada konfigurasi diperlukan, pasang dan main, serasi sempurna dengan pemalam video TushengPenyesuai untuk lapisan perhatian

Satu lagi cabaran dalam tugas I2V ialah untuk mengekalkan maklumat ID imej input. Terdapat dua penyelesaian semasa utama: satu ialah menggunakan pengekod imej yang telah terlatih untuk mengekod imej input, dan menyuntik ciri yang dikodkan ke dalam model melalui mekanisme perhatian silang untuk membimbing proses denoising; digabungkan dengan input bising dalam dimensi saluran dan kemudian disuap bersama ke rangkaian seterusnya. Walau bagaimanapun, kaedah terdahulu mungkin menyebabkan ID video yang dijana berubah kerana sukar bagi pengekod imej untuk menangkap maklumat asas manakala kaedah yang terakhir sering memerlukan perubahan struktur dan parameter model T2I, mengakibatkan kos latihan yang tinggi dan lemah keserasian.

Untuk menyelesaikan masalah di atas, penyelidik mencadangkan I2V-Adapter. Khususnya, penyelidik memasukkan imej input dan input hingar ke rangkaian secara selari Dalam blok ruang model, semua bingkai juga akan menanyakan maklumat bingkai pertama, iaitu ciri kunci dan nilai datang dari bingkai pertama tanpa bunyi. , dan output Hasilnya ditambah kepada perhatian diri model asal. Matriks pemetaan output dalam modul ini dimulakan dengan sifar dan hanya matriks pemetaan output dan matriks pemetaan pertanyaan dilatih. Untuk meningkatkan lagi pemahaman model tentang maklumat semantik imej input, penyelidik memperkenalkan penyesuai kandungan yang telah terlatih (artikel ini menggunakan Penyesuai IP [8]) untuk menyuntik ciri semantik imej.

Penyesuai I2V daripada komuniti SD: tiada konfigurasi diperlukan, pasang dan main, serasi sempurna dengan pemalam video Tusheng

Frame Similarity Prior

Untuk meningkatkan lagi kestabilan hasil yang dijana, para penyelidik mencadangkan persamaan antara bingkai sebelum mencapai keseimbangan antara kestabilan dan keamatan gerakan video yang dihasilkan. Andaian utama ialah pada tahap hingar Gaussian yang agak rendah, bingkai pertama yang bising dan bingkai seterusnya yang bising adalah cukup hampir, seperti yang ditunjukkan dalam rajah di bawah:

Penyesuai I2V daripada komuniti SD: tiada konfigurasi diperlukan, pasang dan main, serasi sempurna dengan pemalam video Tusheng

Jadi, penyelidik mengandaikan bahawa semua struktur bingkai Serupa , dan menjadi sukar untuk dibezakan selepas menambah sejumlah hingar Gaussian, jadi imej input hingar boleh digunakan sebagai input priori untuk bingkai berikutnya. Untuk menghapuskan maklumat frekuensi tinggi yang mengelirukan, para penyelidik juga menggunakan pengendali kabur Gaussian dan pencampuran topeng rawak. Khususnya, operasi diberikan oleh formula berikut:

Penyesuai I2V daripada komuniti SD: tiada konfigurasi diperlukan, pasang dan main, serasi sempurna dengan pemalam video Tusheng

Keputusan eksperimen

Hasil kuantitatif

Artikel Q.V yang dikira secara kuantitatif ini st Bingkai ketekalan), FlowScore (amplitud gerakan) dan WarppingError (ralat gerakan) digunakan untuk menilai kualiti video yang dihasilkan. Jadual 1 menunjukkan bahawa I2V-Adapter menerima skor estetik tertinggi dan juga melebihi semua skema perbandingan dari segi ketekalan bingkai pertama. Di samping itu, video yang dihasilkan oleh I2V-Adapter mempunyai amplitud gerakan terbesar dan ralat gerakan yang agak rendah, menunjukkan bahawa model ini mampu menjana lebih banyak video dinamik sambil mengekalkan ketepatan gerakan temporal.

Penyesuai I2V daripada komuniti SD: tiada konfigurasi diperlukan, pasang dan main, serasi sempurna dengan pemalam video Tusheng

Hasil kualitatif

Animasi Imej (kiri ialah input, kanan ialah output):

Penyesuai I2V daripada komuniti SD: tiada konfigurasi diperlukan, pasang dan main, serasi sempurna dengan pemalam video Tusheng

Penyesuai I2V daripada komuniti SD: tiada konfigurasi diperlukan, pasang dan main, serasi sempurna dengan pemalam video Tusheng

Penyesuai I2V daripada komuniti SD: tiada konfigurasi diperlukan, pasang dan main, serasi sempurna dengan pemalam video Tusheng

Penyesuai I2V daripada komuniti SD: tiada konfigurasi diperlukan, pasang dan main, serasi sempurna dengan pemalam video Tusheng

Penyesuai I2V daripada komuniti SD: tiada konfigurasi diperlukan, pasang dan main, serasi sempurna dengan pemalam video Tushengw/ T2I Diperibadikan (di Input kiri, kanan ialah output):

Penyesuai I2V daripada komuniti SD: tiada konfigurasi diperlukan, pasang dan main, serasi sempurna dengan pemalam video Tusheng

Penyesuai I2V daripada komuniti SD: tiada konfigurasi diperlukan, pasang dan main, serasi sempurna dengan pemalam video Tusheng

Penyesuai I2V daripada komuniti SD: tiada konfigurasi diperlukan, pasang dan main, serasi sempurna dengan pemalam video Tusheng

Penyesuai I2V daripada komuniti SD: tiada konfigurasi diperlukan, pasang dan main, serasi sempurna dengan pemalam video Tushengw/ ControlNet (kiri ialah input, kanan ialah output):

Penyesuai I2V daripada komuniti SD: tiada konfigurasi diperlukan, pasang dan main, serasi sempurna dengan pemalam video Tusheng

Penyesuai I2V daripada komuniti SD: tiada konfigurasi diperlukan, pasang dan main, serasi sempurna dengan pemalam video Tusheng

🎜🎜 🎜 🎜🎜

Ringkasan

Kertas kerja ini mencadangkan I2V-Adapter, modul ringan pasang dan main untuk tugas penjanaan imej-ke-video. Kaedah ini memastikan struktur blok ruang dan blok gerakan serta parameter model T2V asal tetap, memasukkan bingkai pertama tanpa hingar dan bingkai berikutnya dengan hingar selari, dan membenarkan semua bingkai berinteraksi dengan bingkai pertama tanpa hingar melalui mekanisme perhatian , dengan itu Menghasilkan video yang koheren secara sementara dan konsisten dengan bingkai pertama. Penyelidik telah menunjukkan keberkesanan kaedah ini pada tugasan I2V melalui eksperimen kuantitatif dan kualitatif. Selain itu, reka bentuk decouplednya membolehkan penyelesaian digabungkan secara langsung dengan modul seperti DreamBooth, Lora dan ControlNet, membuktikan keserasian penyelesaian dan mempromosikan penyelidikan mengenai penjanaan imej-ke-video yang disesuaikan dan dikawal.

Atas ialah kandungan terperinci Penyesuai I2V daripada komuniti SD: tiada konfigurasi diperlukan, pasang dan main, serasi sempurna dengan pemalam video Tusheng. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Kenyataan
Artikel ini dikembalikan pada:51CTO.COM. Jika ada pelanggaran, sila hubungi admin@php.cn Padam
Jurang kemahiran AI memperlahankan rantaian bekalanJurang kemahiran AI memperlahankan rantaian bekalanApr 26, 2025 am 11:13 AM

Istilah "tenaga kerja siap sedia" sering digunakan, tetapi apakah maksudnya dalam industri rantaian bekalan? Menurut Abe Eshkenazi, Ketua Pegawai Eksekutif Persatuan Pengurusan Rantaian Bekalan (ASCM), ia menandakan profesional yang mampu mengkritik

Bagaimana satu syarikat secara senyap -senyap bekerja untuk mengubah AI selama -lamanyaBagaimana satu syarikat secara senyap -senyap bekerja untuk mengubah AI selama -lamanyaApr 26, 2025 am 11:12 AM

Revolusi AI yang terdesentralisasi secara senyap -senyap mendapat momentum. Jumaat ini di Austin, Texas, Sidang Kemuncak Endgame Bittensor menandakan momen penting, beralih ke desentralisasi AI (DEAI) dari teori kepada aplikasi praktikal. Tidak seperti iklan mewah

NVIDIA Melepaskan Microservices Nemo Untuk Menyebarkan Pembangunan Agen AINVIDIA Melepaskan Microservices Nemo Untuk Menyebarkan Pembangunan Agen AIApr 26, 2025 am 11:11 AM

Perusahaan AI menghadapi cabaran integrasi data Penggunaan perusahaan AI menghadapi cabaran utama: sistem bangunan yang dapat mengekalkan ketepatan dan kepraktisan dengan terus belajar data perniagaan. Microservices NEMO menyelesaikan masalah ini dengan mewujudkan apa yang NVIDIA menggambarkan sebagai "Flywheel Data", yang membolehkan sistem AI tetap relevan melalui pendedahan berterusan kepada maklumat perusahaan dan interaksi pengguna. Toolkit yang baru dilancarkan ini mengandungi lima microservices utama: Nemo Customizer mengendalikan penalaan model bahasa yang besar dengan latihan yang lebih tinggi. NEMO Evaluator menyediakan penilaian ringkas model AI untuk tanda aras tersuai. Nemo Guardrails Melaksanakan Kawalan Keselamatan untuk mengekalkan pematuhan dan kesesuaian

AI melukis gambar baru untuk masa depan seni dan reka bentukAI melukis gambar baru untuk masa depan seni dan reka bentukApr 26, 2025 am 11:10 AM

AI: Masa Depan Seni dan Reka Bentuk Kecerdasan Buatan (AI) mengubah bidang seni dan reka bentuk dengan cara yang belum pernah terjadi sebelumnya, dan impaknya tidak lagi terhad kepada amatur, tetapi lebih mempengaruhi profesional. Skim karya seni dan reka bentuk yang dihasilkan oleh AI dengan cepat menggantikan imej dan pereka bahan tradisional dalam banyak aktiviti reka bentuk transaksional seperti pengiklanan, generasi imej media sosial dan reka bentuk web. Walau bagaimanapun, artis dan pereka profesional juga mendapati nilai praktikal AI. Mereka menggunakan AI sebagai alat tambahan untuk meneroka kemungkinan estetik baru, menggabungkan gaya yang berbeza, dan membuat kesan visual baru. AI membantu artis dan pereka mengautomasikan tugas berulang, mencadangkan elemen reka bentuk yang berbeza dan memberikan input kreatif. AI menyokong pemindahan gaya, iaitu menggunakan gaya gambar

Bagaimana Zoom merevolusikan kerja dengan Agentic AI: Dari mesyuarat ke tonggakBagaimana Zoom merevolusikan kerja dengan Agentic AI: Dari mesyuarat ke tonggakApr 26, 2025 am 11:09 AM

Zoom, yang pada mulanya dikenali untuk platform persidangan video, memimpin revolusi tempat kerja dengan penggunaan inovatif AIS AI. Perbualan baru -baru ini dengan CTO Zoom, XD Huang, mendedahkan penglihatan yang bercita -cita tinggi syarikat itu. Menentukan Agentic AI Huang d

Ancaman eksistensi ke universitiAncaman eksistensi ke universitiApr 26, 2025 am 11:08 AM

Adakah AI akan merevolusikan pendidikan? Soalan ini mendorong refleksi serius di kalangan pendidik dan pihak berkepentingan. Penyepaduan AI ke dalam pendidikan memberikan peluang dan cabaran. Sebagai Matthew Lynch dari Nota Edvocate Tech, Universit

Prototaip: saintis Amerika mencari pekerjaan di luar negaraPrototaip: saintis Amerika mencari pekerjaan di luar negaraApr 26, 2025 am 11:07 AM

Pembangunan penyelidikan dan teknologi saintifik di Amerika Syarikat mungkin menghadapi cabaran, mungkin disebabkan oleh pemotongan anggaran. Menurut Alam, bilangan saintis Amerika yang memohon pekerjaan di luar negara meningkat sebanyak 32% dari Januari hingga Mac 2025 berbanding dengan tempoh yang sama pada tahun 2024. Pungutan sebelumnya menunjukkan bahawa 75% penyelidik yang ditinjau sedang mempertimbangkan untuk mencari pekerjaan di Eropah dan Kanada. Beratus-ratus geran NIH dan NSF telah ditamatkan dalam beberapa bulan yang lalu, dengan geran baru NIH turun kira-kira $ 2.3 bilion tahun ini, setitik hampir satu pertiga. Cadangan belanjawan yang bocor menunjukkan bahawa pentadbiran Trump sedang mempertimbangkan untuk memotong belanjawan secara mendadak untuk institusi saintifik, dengan kemungkinan pengurangan sehingga 50%. Kegawatan dalam bidang penyelidikan asas juga telah menjejaskan salah satu kelebihan utama Amerika Syarikat: menarik bakat luar negara. 35

Semua Mengenai Keluarga GPT 4.1 Terbuka AI - Analytics VidhyaSemua Mengenai Keluarga GPT 4.1 Terbuka AI - Analytics VidhyaApr 26, 2025 am 10:19 AM

OpenAI melancarkan siri GPT-4.1 yang kuat: keluarga tiga model bahasa lanjutan yang direka untuk aplikasi dunia nyata. Lompat penting ini menawarkan masa tindak balas yang lebih cepat, pemahaman yang lebih baik, dan kos yang dikurangkan secara drastik berbanding t

See all articles

Alat AI Hot

Undresser.AI Undress

Undresser.AI Undress

Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover

AI Clothes Remover

Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool

Undress AI Tool

Gambar buka pakaian secara percuma

Clothoff.io

Clothoff.io

Penyingkiran pakaian AI

Video Face Swap

Video Face Swap

Tukar muka dalam mana-mana video dengan mudah menggunakan alat tukar muka AI percuma kami!

Alat panas

EditPlus versi Cina retak

EditPlus versi Cina retak

Saiz kecil, penyerlahan sintaks, tidak menyokong fungsi gesaan kod

Muat turun versi mac editor Atom

Muat turun versi mac editor Atom

Editor sumber terbuka yang paling popular

MinGW - GNU Minimalis untuk Windows

MinGW - GNU Minimalis untuk Windows

Projek ini dalam proses untuk dipindahkan ke osdn.net/projects/mingw, anda boleh terus mengikuti kami di sana. MinGW: Port Windows asli bagi GNU Compiler Collection (GCC), perpustakaan import yang boleh diedarkan secara bebas dan fail pengepala untuk membina aplikasi Windows asli termasuk sambungan kepada masa jalan MSVC untuk menyokong fungsi C99. Semua perisian MinGW boleh dijalankan pada platform Windows 64-bit.

Dreamweaver CS6

Dreamweaver CS6

Alat pembangunan web visual

SecLists

SecLists

SecLists ialah rakan penguji keselamatan muktamad. Ia ialah koleksi pelbagai jenis senarai yang kerap digunakan semasa penilaian keselamatan, semuanya di satu tempat. SecLists membantu menjadikan ujian keselamatan lebih cekap dan produktif dengan menyediakan semua senarai yang mungkin diperlukan oleh penguji keselamatan dengan mudah. Jenis senarai termasuk nama pengguna, kata laluan, URL, muatan kabur, corak data sensitif, cangkerang web dan banyak lagi. Penguji hanya boleh menarik repositori ini ke mesin ujian baharu dan dia akan mempunyai akses kepada setiap jenis senarai yang dia perlukan.