DAMO Academy mengeluarkan platform penciptaan video AI sehenti 'Xunguang' untuk mencipta aliran kerja AI baharu

Tahun ini adalah tahun pertama ledakan penjanaan video AI, dan model algoritma serta aplikasi produk yang diwakili oleh Sora sentiasa muncul. Hanya dalam beberapa bulan, kami telah melihat pelancaran berpuluh-puluh alat penjanaan video, dan penciptaan video berasaskan AI mula berkembang.

Tetapi teknologi baharu juga menyebabkan lebih banyak cabaran dan keraguan Selain fenomena "pembukaan kotak buta" yang terkenal, kandungan video yang dihasilkan oleh AI juga sering dikritik kerana kebolehkawalannya yang lemah dan aliran kerja pemprosesan yang rumit.

OpenAI pernah menjemput pasukan penerbitan video profesional untuk menguji Sora Antaranya, pasukan Shy Kids dari Toronto menggunakan Sora untuk menghasilkan filem pendek dengan tema lelaki belon, yang menggabungkan kreativiti dan teknologi AI dengan sempurna .

Sebenarnya, keseluruhan filem pendek bukanlah hasil keluaran langsung Sora, tetapi terdiri daripada beberapa klip video Apabila Sora menghasilkan video yang berbeza, sukar untuk memastikan konsistensi protagonis. Oleh itu, mereka memperkenalkan banyak penyuntingan pasca manual sebelum mereka mempersembahkan kesan filem pendek terakhir. Pencipta Shy Kids menyimpulkan, "Teknologi Sora adalah hebat, tetapi proses penjanaannya sukar dikawal

Kawalan tepat terhadap kandungan yang dihasilkan adalah keperluan penting dalam penciptaan video AI, dan ia juga yang dihadapi oleh algoritma hari ini." cabaran yang besar.

Untuk tujuan ini, pada Persidangan Kepintaran Buatan Dunia Shanghai (WAIC) yang baru sahaja tamat, Akademi DAMO mengeluarkan platform penciptaan video AI sehenti "Xunguang".

Ia diletakkan sebagai platform penciptaan video AI sehenti PUGC, yang boleh membantu pengguna dalam mencipta skrip, papan cerita, dll., dan meningkatkan kecekapan keseluruhan proses kreatif melalui penyepaduan aliran kerja, menyokong AI yang kaya untuk menjana dan memuat naik bahan. Penyuntingan menyediakan lebih daripada sepuluh fungsi pengeditan AI seperti kawalan aksara, kawalan pemandangan, pemindahan gaya, kawalan pergerakan kamera, penambahan/penghapusan/pengubahsuaian sasaran, dsb., membolehkan elemen dan objek dalam video dikawal dengan tepat.

Dharma Academy berharap untuk meningkatkan lagi kecekapan penciptaan video AI melalui platform Xunguang Matlamatnya adalah untuk menggunakan keupayaan AI untuk membentuk semula keseluruhan proses pengeluaran video tradisional dan mencipta aliran kerja video baharu dalam era AI. .

Pertama kali dalam industri

Suntingan video berasaskan lapisan

Pada peringkat awal penyelidikan dan pembangunan intensif televisyen dan media Xunguang turut menjalankan penyelidikan dan pembangunan perfileman yang meluas, DAMO. dan pencipta , untuk memahami keperluan dan titik kesakitan mereka untuk penciptaan video AIGC. Mereka mendapati bahawa lapisan video adalah keperluan yang paling kerap disebut dan paling mendesak di kalangan hampir semua pencipta video.

Berdasarkan perkara ini, Xunguang Platform telah melancarkan fungsi penyuntingan lapisan video yang sistematik buat kali pertama dalam industri. Dengan memasukkan teks, pengguna boleh menjana video yang sepadan dengan penerangan teks dan mempunyai latar belakang telus, dan menggabungkannya ke dalam video latar belakang lain dengan satu klik. Berdasarkan keupayaan penjanaan video tradisional, kandungan dijana dalam bentuk yang lebih fleksibel seperti lapisan. .

Pengguna boleh menggabungkan lapisan latar depan yang berbeza dengan latar belakang yang berbeza untuk menggabungkan lebih banyak video baharu. Keupayaan gabungan lapisan merangsang lagi kreativiti dan imaginasi AI, sambil mengekalkan konsistensi adegan dan watak antara berbilang syot.

Pada pandangan Akademi DAMO, AI tidak akan menggantikan kerja pencipta, tetapi akan mengoptimumkan aliran kerja penciptaan video dan menjadi enjin baharu yang didorong oleh kreativiti.

Platform penciptaan AI sehenti

Interaksi yang lebih mudah, keupayaan penyuntingan yang lebih kaya

Penciptaan skrip, reka bentuk papan cerita yang jelas, penyuntingan material mempunyai... , Kitaran adalah panjang. Dengan sokongan teknologi AI, langkah kreatif yang pada asalnya tersebar dalam proses pengeluaran yang berbeza kini boleh diselesaikan dengan lancar pada platform pencari cahaya.

"Kami berharap dapat menjadikan penyuntingan video sebagai mudah, intuitif dan mudah digunakan sebagai ppt operasi Chen Weihua, pakar algoritma kanan di Makmal Teknologi Visual Akademi DAMO, yang diperkenalkan di tempat kejadian yang menjadi sorotan utama." platform mencari cahaya ialah aspek interaksi.

Platform Xunguang mengambil kira sepenuhnya ciri-ciri penciptaan video AI semasa mereka bentuk, mengabstrak setiap projek video kepada berbilang sub-tangkapan Pengguna secara automatik boleh menjana sekumpulan sub-tangkapan berdasarkan skrip, atau mereka boleh memuat naik bahan video asal itu sendiri , dibahagikan kepada berbilang sub tangkapan oleh algoritma.

Dalam ruang kreatif, pengguna boleh melihat setiap tangkapan dalam adegan boleh diruntuhkan atau dikembangkan dengan mudah. Pengguna juga boleh menambah dan mencipta sub-shot baharu di mana-mana lokasi, memanggil penjanaan imej atau keupayaan penjanaan video untuk menjana kandungan, atau menambah pelbagai bahan sedia ada.

Untuk setiap tangkapan, Xunguang menyediakan keupayaan penyuntingan video AI yang lengkap dan pintar untuk pemprosesan, yang boleh diedit pada tahap semantik dan bukannya tahap piksel berdasarkan niat pengguna. Sebarang sasaran tempatan seperti badan manusia, muka, latar depan dan latar belakang dalam syot berpecah boleh diedit dan diubah suai dengan halus.

Contohnya, memahami kawalan pergerakan kamera terhadap kedalaman medan spatial;

Dari segi penyuntingan elemen global video, platform carian ringan menyediakan lebih daripada 20 migrasi gaya.

Xunguang juga menyediakan fungsi penyuntingan video praktikal seperti kawalan kadar bingkai dan resolusi super video.

"Kami berharap semua elemen dalam video boleh diedit dan diubah suai, untuk memberikan pengguna kebebasan terbesar dalam penciptaan," kata Chen Weihua.

Ditulis pada penghujungnya

Hari ini, kita berada di tengah-tengah gelombang perubahan dalam AIGC, dan AI berpotensi untuk melahirkan aliran kerja video baharu. Pengamal filem dan televisyen profesional serta pengguna UGC yang menyukai penciptaan akan mendapat manfaat daripadanya.

"Jika anda ingin menjalankan tugas anda dengan baik, anda mesti mempertajamkan alatan anda terlebih dahulu, Akademi Damo berharap platform penciptaan video Xunguang boleh menjadi studio video eksklusif untuk setiap pencipta, mencapai hubungan yang lebih rapat antara AI dan pencipta." , kerjasama yang cekap, benar-benar melancarkan produktiviti AI.

Untuk tujuan ini, Makmal Teknologi Visual Akademi DAMO telah membuat banyak rizab teknikal. Makmal ini komited kepada penyelidikan pemahaman isyarat visual berbilang mod dan teknologi penjanaan Arah penyelidikan utama semasa termasuk penjanaan kandungan imej/video/3D yang lebih tepat, penyuntingan imej/video/3D yang lebih terkawal dan penjanaan Bingkai yang lebih cekap , pemahaman multimodal - bingkai generatif, dsb.

Chen Weihua berkata bahawa "Xunguang" akan dilancarkan untuk ujian dalaman dalam masa terdekat dan akan terus mengulang dan mengoptimumkan interaksi Pencipta dialu-alukan untuk menyesuaikan aliran kerja AI mereka sendiri.

^{Alamat aplikasi beta dalaman:}

^{https://xunguang.damo-vision.com/}

Atas ialah kandungan terperinci DAMO Academy mengeluarkan platform penciptaan video AI sehenti 'Xunguang' untuk mencipta aliran kerja AI baharu. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!