Rumah >Peranti teknologi >AI >Tarian Douyin tidak memerlukan orang sebenar untuk muncul pada kamera, hanya foto boleh menghasilkan video berkualiti tinggi! Malah CTO yang berpeluk muka telah mengalami teknologi baharu Byte

Tarian Douyin tidak memerlukan orang sebenar untuk muncul pada kamera, hanya foto boleh menghasilkan video berkualiti tinggi! Malah CTO yang berpeluk muka telah mengalami teknologi baharu Byte

WBOY
WBOYke hadapan
2023-12-14 23:05:291233semak imbas

Lihat! Kini terdapat empat wanita muda mempamerkan tarian panas mereka di hadapan anda:

Tarian Douyin tidak memerlukan orang sebenar untuk muncul pada kamera, hanya foto boleh menghasilkan video berkualiti tinggi! Malah CTO yang berpeluk muka telah mengalami teknologi baharu Byte

Fikirkan ia adalah karya yang dikeluarkan oleh beberapa pelakon di platform video pendek?

Tidak, Tidak, Tidak.

Jawapan sebenar ialah: palsu, dihasilkan, dan jenis yang hanya bergantung pada satu gambar!

Tarian Douyin tidak memerlukan orang sebenar untuk muncul pada kamera, hanya foto boleh menghasilkan video berkualiti tinggi! Malah CTO yang berpeluk muka telah mengalami teknologi baharu Byte

Cara sebenar untuk menghidupkannya ialah ini:

Tarian Douyin tidak memerlukan orang sebenar untuk muncul pada kamera, hanya foto boleh menghasilkan video berkualiti tinggi! Malah CTO yang berpeluk muka telah mengalami teknologi baharu Byte

Ini adalah penyelidikan terbaru dari Universiti Nasional Singapura dan Bytedance, yang dipanggil Magic Animate.

Fungsinya boleh diringkaskan dalam formula ringkas: gambar + satu set tindakan = video tanpa sebarang rasa pelanggaran. .

Tarian Douyin tidak memerlukan orang sebenar untuk muncul pada kamera, hanya foto boleh menghasilkan video berkualiti tinggi! Malah CTO yang berpeluk muka telah mengalami teknologi baharu Byte

By the way, saya juga buat lawak secara jenaka:

Adakah ini dikira kecergasan? Saya boleh melangkau gim minggu ini.

Ada juga netizen yang agak up-to-date, bermain dengan watak dalam treler yang baru dikeluarkan

GTA6Tarian Douyin tidak memerlukan orang sebenar untuk muncul pada kamera, hanya foto boleh menghasilkan video berkualiti tinggi! Malah CTO yang berpeluk muka telah mengalami teknologi baharu Byte

(Grand Theft Auto 6)

:

Malah menjadi emotikon sasaran yang dipilih oleh netizen...

Magic Animate boleh dikatakan telah menumpukan perhatian bulatan teknologi pada dirinya sendiri, sehingga ada netizen bergurau:

Tarian Douyin tidak memerlukan orang sebenar untuk muncul pada kamera, hanya foto boleh menghasilkan video berkualiti tinggi! Malah CTO yang berpeluk muka telah mengalami teknologi baharu ByteOpenAI boleh berehat.

Tarian Douyin tidak memerlukan orang sebenar untuk muncul pada kamera, hanya foto boleh menghasilkan video berkualiti tinggi! Malah CTO yang berpeluk muka telah mengalami teknologi baharu Byte

Api, betul-betul api.

Anda boleh menjana tarian dengan hanya satu gambar

MagicAnimate sangat popular, bagaimana anda harus menggunakannya?

Tanpa berlengah lagi, mari rasainya selangkah demi selangkah.

Tarian Douyin tidak memerlukan orang sebenar untuk muncul pada kamera, hanya foto boleh menghasilkan video berkualiti tinggi! Malah CTO yang berpeluk muka telah mengalami teknologi baharu BytePada masa ini, pasukan projek kami telah membuka halaman pengalaman dalam talian di HuggingFace

Pengendalian ini sangat mudah dan hanya memerlukan tiga langkah:

  1. Muat naik foto statik seseorang
  2. Muat naik video demo aksi yang anda ingin hasilkan
  3. Laraskan parameter dan klik "Animate"

Sebagai contoh, berikut adalah foto saya dan Tarian "Subjek Tiga" yang popular baru-baru ini klip:

Tarian Douyin tidak memerlukan orang sebenar untuk muncul pada kamera, hanya foto boleh menghasilkan video berkualiti tinggi! Malah CTO yang berpeluk muka telah mengalami teknologi baharu Byte

△ Sumber video: Douyin (ID: QC0217)

Anda juga boleh memilih templat yang disediakan di bahagian bawah halaman untuk merasai:

Tarian Douyin tidak memerlukan orang sebenar untuk muncul pada kamera, hanya foto boleh menghasilkan video berkualiti tinggi! Malah CTO yang berpeluk muka telah mengalami teknologi baharu Byte

Walau bagaimanapun, perlu diingatkan bahawa MagicAnimate adalah seperti itu. pada masa ini terlalu popular, dalam Mungkin terdapat "masa henti" semasa proses penjanaan:

Tarian Douyin tidak memerlukan orang sebenar untuk muncul pada kamera, hanya foto boleh menghasilkan video berkualiti tinggi! Malah CTO yang berpeluk muka telah mengalami teknologi baharu Byte

Walaupun anda berjaya "memakan"nya, anda mungkin perlu beratur Tarian Douyin tidak memerlukan orang sebenar untuk muncul pada kamera, hanya foto boleh menghasilkan video berkualiti tinggi! Malah CTO yang berpeluk muka telah mengalami teknologi baharu Byte...

Tarian Douyin tidak memerlukan orang sebenar untuk muncul pada kamera, hanya foto boleh menghasilkan video berkualiti tinggi! Malah CTO yang berpeluk muka telah mengalami teknologi baharu Byte

(Betul! Sehingga masa akhbar, keputusan masih belum ditunggu) ! Bagaimana?

Secara keseluruhan, MagicAnimate menggunakan rangka kerja berdasarkan

model resapan

Tarian Douyin tidak memerlukan orang sebenar untuk muncul pada kamera, hanya foto boleh menghasilkan video berkualiti tinggi! Malah CTO yang berpeluk muka telah mengalami teknologi baharu Byte (penyebaran)

Tujuannya adalah untuk meningkatkan ketekalan temporal, mengekalkan keaslian imej rujukan dan meningkatkan kesetiaan animasi.

Untuk tujuan ini, pasukan mula-mula membangunkan Model Penyebaran Video (Pemodelan Ketekalan Tempoh) untuk mengekod maklumat temporal.

Model ini mengekod maklumat temporal dengan menambahkan modul perhatian temporal pada rangkaian resapan untuk memastikan ketekalan temporal antara bingkai dalam animasi. Tarian Douyin tidak memerlukan orang sebenar untuk muncul pada kamera, hanya foto boleh menghasilkan video berkualiti tinggi! Malah CTO yang berpeluk muka telah mengalami teknologi baharu Byte

Kedua, untuk mengekalkan konsistensi penampilan antara bingkai, pasukan memperkenalkan

Pengekod Rupa(Pengekod Rupa) baharu untuk mengekalkan butiran kompleks imej rujukan.

Pengekod ini berbeza daripada kaedah sebelumnya menggunakan pengekodan CLIP Ia mampu mengekstrak ciri visual yang lebih padat untuk membimbing pengeluaran animasi dan dengan itu lebih memelihara maklumat seperti identiti, latar belakang dan pakaian

Dalam dua teknologi inovatif ini , pasukan itu seterusnya mengguna pakai teknologi gabungan video yang mudah

(Teknik Gabungan Video) untuk mempromosikan peralihan yang lancar bagi animasi video yang panjang. Akhirnya, selepas pengesahan oleh dua percubaan penanda aras, keputusan menunjukkan bahawa MagicAnimate jauh mengatasi kaedah sebelumnya

Terutama pada set data tarian TikTok yang mencabar, MagicAnimate mengatasi garis dasar terkuat dalam kesetiaan video Melebihi 38%!

Berikut ialah perbandingan kualitatif yang diberikan oleh pasukan:

Dan berbanding model garis dasar terkini bagi cross-ID, keputusan kami adalah seperti berikut:

Tarian Douyin tidak memerlukan orang sebenar untuk muncul pada kamera, hanya foto boleh menghasilkan video berkualiti tinggi! Malah CTO yang berpeluk muka telah mengalami teknologi baharu Byte

One More Thing

Saya harus mengatakan bahawa projek seperti MagicAnimate benar-benar sangat popular baru-baru ini

Tidak, tidak lama sebelum "debut", pasukan Ali juga mengeluarkan projek yang dipanggil Animate Anyones projek juga hanya memerlukan "gambar" dan "tindakan yang diingini":

Tarian Douyin tidak memerlukan orang sebenar untuk muncul pada kamera, hanya foto boleh menghasilkan video berkualiti tinggi! Malah CTO yang berpeluk muka telah mengalami teknologi baharu Byte

Daripada ini, beberapa netizen turut menimbulkan persoalan:

Ini seolah-olah menjadi perang antara MagicAnimate dan AnimateAnyone. Siapa yang lebih baik?

Tarian Douyin tidak memerlukan orang sebenar untuk muncul pada kamera, hanya foto boleh menghasilkan video berkualiti tinggi! Malah CTO yang berpeluk muka telah mengalami teknologi baharu Byte

Apa pendapat anda?

Sila klik pautan berikut untuk melihat kertas kerja: https://arxiv.org/abs/2311.16498

Atas ialah kandungan terperinci Tarian Douyin tidak memerlukan orang sebenar untuk muncul pada kamera, hanya foto boleh menghasilkan video berkualiti tinggi! Malah CTO yang berpeluk muka telah mengalami teknologi baharu Byte. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Kenyataan:
Artikel ini dikembalikan pada:51cto.com. Jika ada pelanggaran, sila hubungi admin@php.cn Padam