"Keling" Kuaishou meletup: satu kejutan besar dalam kalangan AI luar negara, versi Cina Sora sukar dicari

Selepas hanya setahun, "mee makan" yang dijana AI telah menjadi begitu semula jadi dan licin? Ini mengejutkan netizen di seluruh dunia.

                                                                                                                                                                                                                                                                                                                                    ^{Model video Wensheng baru sahaja dilancarkan oleh Kuaishou.}

Ia bukan pra-keluaran atau koleksi demo tulen, tetapi aplikasi peringkat produk yang dibuka terus untuk ujian dan semua orang boleh memohon. Selain itu, Keling menyokong penjanaan video 1080P sehingga 2 minit dan 30fps, memfokuskan pada "penukaran satu klik" daripada sumbang saran kepada karya yang boleh diterbitkan. （官网地址：https://kling.kuaishou.com/）

最早一批用上的用户已经「真香」：

                              图源：https://x.com/ op7418/status/1799047146089619589

                                                                           m8Atau?refer_flag=1001030103_

Kumpulan komunikasi mempunyai maksimum 500 orang dan akan penuh sekarang.

Rakan asing yang belum menggunakannya hanya boleh cemas dan siarkan "tolong" di media sosial:

Tidak keterlaluan untuk mengatakan bahawa Ke Ling kini "a Sukar untuk mencari nombor”:

Berita itu tersebar ke bulatan modal teroka Silicon Valley, dan ia mencetuskan perbincangan hangat.

Stability AI bekas Ketua Pegawai Eksekutif Emad Mostaque berkata: "Teknologi AI China mempunyai kelebihan tersendiri 463003684918

YC yang dijana dengan jelas oleh Kemajuan YC yang sebenar.

Prompt: Une personne tapant son meilleur croc dans son hamburger

^{Alamat video: https://x.com/angrytomtweets/status/1799787209651859910}

untuk mereka yang memberi perhatian kepada AI, mereka mesti melihat banyak ke Ling dalam beberapa hari kebelakangan . Laman web ini juga mengklik saluran permohonan secepat mungkin dan memperoleh kelayakan percubaan.

Seterusnya, kita juga boleh mencubanya dan menganalisis sebab mengapa Keling begitu popular.

Aplikasi peringkat produk video Wensheng yang pertama di China

Mungkin anda masih ingat video "Balloon Man" yang sangat popular ini. Tiga pencipta menghabiskan hampir dua minggu menggunakan Sora untuk mencipta video pendek 1 minit dan 21 saat yang menakjubkan ini. Bagaimanapun, Patrick Cederberg, yang bertanggungjawab ke atas pasca produksi, mengaku menghadapi banyak masalah dalam proses itu, seperti warna belon berubah setiap kali ia dijana, beberapa kelemahan muncul dalam rakaman, dsb.

Sora menjana hasil. Alamat video penuh: https://youtu.be/9oryIMNVtto?si=F6oDzvrhzfVcQGeh

Untuk model penjanaan video sebelum ini, memang sukar untuk menjana lebih daripada 1 minit kandungan sekali gus, terutamanya jika skrin diperlukan Semua elemen kekal konsisten.

Fu Sheng, Pengerusi dan Ketua Pegawai Eksekutif Cheetah Mobile dan Pengerusi Orion Star, mengeluarkan video "Balloon Man" yang dibuatnya bersama Corin dan berkata bahawa ia hanya mengambil "berpuluh minit" untuk mencipta kesinambungan, sebuah filem pendek dengan realisme dan kejelasan yang sangat baik.

Semasa proses ujian dalaman, kami turut menemui tutorial dan dokumen demo yang dicipta secara spontan oleh komuniti pencipta profesional, termasuk ratusan karya yang boleh dihasilkan, dan turut memberikan panduan tentang dimensi ujian.

Pembaca yang berminat sila klik: https://waytoagi.feishu.cn/wiki/GevKwyEt1i4SUVk0q2JcqQFtnRd

Filem pendek 2-minit Farre yang berikut adalah filem pendek Afad yang disiarkan oleh Kefad. Ya, bolehkah anda melihatnya?

Dalam karya "Pertandingan Perlumbaan Zootopia" oleh pencipta @AIGC Thirteen, 20 saat ini termasuk penjanaan kereta lumba pantas (pergerakan besar), kenderaan dipandu haiwan (kombinasi konsep yang menguji imaginasi), dll. Sukar, tetapi Berdasarkan keputusan, Keling telah menyelesaikan masalah ini dengan baik:

                      Sumber: Keling creator @AIGC Thirteen

s" dicipta oleh @八级Mechanics Video pendek berdurasi 56 saat ini mengambil masa selama 3 jam untuk dihasilkan dan termasuk 23 syot. Kemudian tambahkan alih suara di atas hasil yang dijana oleh Ke Ling, dan perasaan jenaka akan muncul serta-merta:

                                                                        Selepas membaca ini, Kita sepatutnya menyedari bahawa pengaruh teknologi penjanaan video yang diwakili oleh Keling jauh melampaui mudah ciptaan. Pelaksanaan teknologi ini semakin pantas dalam bidang penyelidikan dan landasan industri yang berbeza, memberikan potensi transformatif untuk pelbagai tugas daripada penjanaan kandungan automatik kepada proses membuat keputusan yang kompleks.

^{Industri mana yang akan diubah dahulu?}

Pembangunan permainan tradisional selalunya dihadkan oleh persekitaran pra-diberikan dan acara berskrip. Sebaik sahaja model penjanaan video disepadukan ke dalam permainan, cara permainan dibangunkan, dimainkan dan dialami akan diinovasikan, membawa kemungkinan baharu untuk bercerita, interaktiviti dan pengalaman yang mengasyikkan. Bagi pembangun permainan, salah satu cara yang paling intuitif untuk bermain ialah menjana kesan visual tersuai dan juga tindakan watak berdasarkan naratif pengguna. M Dalam DEMO di bawah, kita dapat melihat bahawa pengguna boleh mencipta pengalaman badan yang tiada tandingannya dengan bantuan koko:

sumber: https: //h.com/statdustin /1800056286215553444

^{Industri lain yang akan terganggu ialah pengeluaran filem dan televisyen. Pembikinan filem tradisional ialah proses yang sukar dan mahal yang selalunya memerlukan usaha bertahun-tahun, peralatan yang luas dan pelaburan kewangan. Kemunculan teknologi penjanaan video menandakan "era pendemokrasian" baharu dalam penerbitan filem Impian untuk menghasilkan karya filem dan televisyen secara bebas daripada input teks mudah menjadi kenyataan.}

Kini, apa yang kami gunakan Keling untuk menjana ialah klip satu tangkapan 5 saat Memandangkan teknologi terus berkembang, panjang video yang boleh dihasilkan oleh pengguna pada satu masa juga akan meningkat. Sebagai contoh, pada masa hadapan kami mungkin dapat menjana kandungan video yang lebih panjang sekali gus untuk mengekalkan keselarasan dan keseronokan adegan cerita. Teknik kamera mungkin lebih maju, seperti tangkapan panjang berterusan.

                                                                                                              

Kerja siluet di bawah sekali lagi membuktikan satu perkara: pemahaman AI dan tahap estetika seni, Tidak kalah dengan manusia sama sekali.

Prompt: "Siluet penari berubah dengan lancar melalui gaya tarian yang berbeza, daripada hip-hop ke balet, dalam satu pukulan berterusan"

。

. Sumber gambar: https://x.com/dustinhollywood/status/1799970059957555210

Gaya filem fiksyen sains difahami sepenuhnya:

Gaya filem fiksyen sains difahami sepenuhnya:

儿李

AI juga boleh memberi inspirasi kepada penghasilan filem blockbuster mewah:

                                                               Kita boleh melihat ini yang dihasilkan oleh Ke Ling Dalam iklan "Honey", prestasi AI dalam mensimulasikan jarak dekat menuangkan madu tidak kalah dengan pasukan kamera profesional:

Apakah teknologi yang ada di belakang KeLing?

Kami tidak dapat memperoleh butiran penyelidikan dan pembangunan Sora yang mencukupi daripada laporan teknikal ringkas OpenAI, tetapi laman web rasmi Model Besar Keling mendedahkan lebih banyak maklumat rujukan, terutamanya termasuk penyediaan data, seni bina model, pelan latihan dan Beberapa aspek strategi pengoptimuman.

Penyediaan data

Bergantung kepada pengumpulan bertahun-tahun Kuaishou dalam bidang teknologi video, pasukan Model Keling telah membina sistem pelabelan lengkap, termasuk kualiti video asas, estetika, keaslian mencirikan kualiti data video dan mereka bentuk pelbagai ciri label tersuai untuk setiap dimensi untuk memperhalusi data latihan atau melaraskan pengedaran data latihan.

Untuk memenuhi keperluan huraian video dan teks berpasangan dalam proses latihan model video Wensheng, pasukan Model Besar Keling telah membangunkan model penerangan video yang dibangunkan sendiri, yang boleh menjana video yang tepat, terperinci dan berstruktur penerangan, meningkatkan penjanaan video dengan ketara Responsif model terhadap arahan teks.

Seni Bina Model

Selepas data anotasi berkualiti tinggi disediakan, bagaimana model besar Keling memperoleh keupayaan untuk mensimulasikan ciri dan gabungan konsep dunia fizikal? 🎜🎜🎜🎜🎜Dalam reka bentuk seni bina keseluruhan, Keling mengguna pakai Diffusion Transformer (DiT) yang popular pada masa ini. Model resapan tradisional terutamanya menggunakan U-Net konvolusi yang mengandungi blok pensampelan bawah dan pensampelan naik sebagai tulang belakang rangkaian penyahnosan. Tetapi beberapa kajian telah menunjukkan bahawa seni bina U-Net tidak kritikal untuk prestasi model resapan yang baik. Dengan mengguna pakai seni bina Transformer yang lebih fleksibel, model resapan boleh menggunakan lebih banyak data latihan dan parameter model yang lebih besar. DiT adalah salah satu wakil kerja di bawah idea penyelidikan ini. 🎜🎜🎜🎜🎜Dalam beberapa bulan yang lalu, industri telah mencapai kata sepakat bahawa kejayaan model penjanaan video akhirnya adalah hasil daripada Undang-undang Skala. Konsensus ini berdasarkan penemuan kertas DiT bahawa menggunakan Transformer boleh mengembangkan saiz model secara berterusan: apabila jumlah pengiraan latihan meningkat (masa untuk melatih model meningkat atau model meningkat, atau kedua-duanya), prestasi juga akan meningkat sewajarnya. 🎜🎜🎜🎜🎜Ini bermakna untuk model penjanaan video, selagi lebih banyak kuasa pengkomputeran dan lebih banyak data digunakan untuk meningkatkan, kualiti penjanaan akan terus bertambah baik. 🎜🎜🎜🎜🎜Sebab mengapa Keling boleh mengubah gesaan teks pengguna kepada gambar tertentu, termasuk adegan fiksyen yang tidak akan muncul di dunia nyata, adalah berdasarkan pemahaman mendalam tentang semantik teks-video dan keupayaan berkuasa Transformer Penyebaran seni bina . Didorong oleh keupayaan pemodelan berkuasa yang diilhamkan oleh seni bina yang dibangunkan sendiri dan Undang-undang Penskalaan, Caling boleh mensimulasikan ciri fizikal dunia sebenar dan menjana video yang mematuhi undang-undang fizikal.

Pada masa yang sama, berdasarkan rangkaian VAE 3D yang dibangunkan sendiri oleh pasukan, model berskala besar boleh menjana video peringkat filem beresolusi 1080p, sama ada pemandangan yang luas dan megah atau jarak dekat yang halus, ia boleh menjadi jelas. Dalam pemandangan semula jadi, cahaya berubah dengan lancar. Penguji: @shanshan

^{Sudah tentu, untuk model penjanaan video, faktor lain yang mesti dipertimbangkan ialah: video ialah sejenis kandungan visual dengan dimensi masa, dan kandungan yang tidak koheren akan membuatkan pengguna terganggu. sangat berkompromi.}

Untuk memastikan persembahan gerakan dalam gambar lebih munasabah, model besar Keling mengguna pakai mekanisme perhatian sendi spatio-temporal 3D untuk memodelkan gerakan spatio-temporal kompleks yang lebih baik, dan boleh menjana kandungan video dengan lebih besar. gerakan sambil memenuhi keperluan corak gerakan.

Strategi latihan dan pengoptimuman

Jika anda telah mengujinya sendiri, anda akan mendapati bahawa Keling menyokong pengeluaran berbilang nisbah aspek video untuk kandungan yang sama semasa proses inferens. Ini kerana Keling mengamalkan strategi latihan resolusi berubah-ubah untuk memenuhi keperluan menggunakan bahan video dalam adegan yang lebih kaya.

Pada masa yang sama, terima kasih kepada infrastruktur latihan yang cekap, pengoptimuman inferens yang melampau dan infrastruktur berskala, model Keling boleh menjana video sehingga 2 minit dengan kadar bingkai 30fps.

Penjanaan video bukan lagi permainan "mengejar OpenAI"

2024 digelar tahun ledakan teknologi penjanaan video, tetapi sebelum Keling, kita tidak pernah melihatnya Sora-level produk tersedia, dan tidak diketahui bila Sora akan dibuka.

Dari satu segi, Keling ialah "Sora versi Cina" sebenar dan membawa teknologi ini ke tahap yang boleh digunakan, mudah digunakan dan praktikal.

Seperti kata Fu Sheng: "Ini mungkin produk video Vincent terbaik yang boleh anda gunakan di dunia hari ini Sesiapa yang telah mencuba Keling secara peribadi akan memahami bahawa ini sama sekali tidak keterlaluan.

Video Fu Sheng juga memberi pandangan lain: "Seterusnya, ia juga menunjukkan bahawa Sora bukanlah satu kejayaan teknikal, tetapi satu kejayaan produk."

Saya masih ingat beberapa bulan lalu, Sora telah meningkatkan tahap teknikal bagi keseluruhan trek penjanaan video dengan kelebihan video berterusan selama 60 saat, tekstur gambar definisi tinggi, pergerakan kamera berterusan dan kaedah pergerakan, mencetuskan gelombang persaingan dalam trek video Vincentian.

Kami pada asalnya menyangka bahawa bidang penjanaan video akan berkembang menjadi pengejaran teknologi antara negara dalam dan luar negara, sama seperti model teks tahun lepas. Walau bagaimanapun, keluaran Keling bermakna penerokaan teknologi model besar video Wensheng domestik telah mencapai tahap yang baharu, dan ia telah mencapai peneraju besar dalam pelaksanaan produk. Kami mungkin tidak perlu bermain permainan "mengejar OpenAI" sekali lagi.

Sesetengah orang telah menilai bahawa China mengatasi Amerika Syarikat dalam bidang kecerdasan buatan.

Kelahiran Keling mungkin bermakna permulaan era baru. Dalam era AI generatif, menjana dan mengedit video mungkin semudah menggunakan foto pada telefon mudah alih hari ini, dan halangan antara imaginasi dan realiti akan dipecahkan sepenuhnya.

Disebabkan popularitinya, bilangan orang yang sedang beratur untuk menguji Corin telah melebihi 50,000. Jika anda berminat dengan permainan video yang dijana oleh AI, anda mungkin ingin mengikuti "Akaun Video AI Keling" terlebih dahulu untuk mendapatkan lebih banyak kes berkualiti tinggi.

Atas ialah kandungan terperinci "Keling" Kuaishou meletup: satu kejutan besar dalam kalangan AI luar negara, versi Cina Sora sukar dicari. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!