Helah penguatan Pika: mulai hari ini, video dan kesan bunyi boleh dihasilkan "dalam satu periuk"!

Tadi, Pika telah mengeluarkan ciri baharu:

Maaf kami telah diredamkan sebelum ini.

Mulai hari ini, semua orang boleh menjana kesan bunyi dengan lancar untuk video——Kesan Bunyi!

Terdapat dua cara untuk menjananya:

• Sama ada berikan Prompt untuk menerangkan bunyi yang anda mahukan
• Atau biarkan Pika menjananya secara automatik berdasarkan kandungan video.

Dan Pika berkata dengan sangat yakin: "Jika anda rasa kesan bunyi itu berbunyi hebat, itu kerana ia".

Bunyi kereta, radio, helang, pedang, sorakan... boleh dikatakan bunyinya tidak berkesudahan, dan dari segi kesannya juga sangat padan dengan gambar video.

Bukan sahaja video promosi telah dikeluarkan, laman web rasmi Pika juga telah mengeluarkan beberapa demo.

Sebagai contoh, tanpa sebarang gesaan, AI baru sahaja menonton video panggang daging dan boleh memadankan kesan bunyi tanpa sebarang rasa pelanggaran.

Satu lagi gesaan:

Warna super tepu, bunga api di atas padang ketika matahari terbenam.
Warna super tepu, bunga api di atas padang ketika matahari terbenam.

Pika boleh menambah bunyi semasa menghasilkan video Tidak sukar untuk melihat dari kesan bunyi yang melekat pada saat bunga api mekar juga agak tepat.

Ciri baharu sebegitu telah dikeluarkan semasa hujung minggu yang besar Ketika netizen menjerit Pika"volume yang cukup dan cukup hebat", sesetengah orang juga berfikir:

Ia sedang mengumpulkan semua "permata tak terhingga" untuk penciptaan AI berbilang modal. .

Jadi mari kita teruskan melihat cara mengendalikan Kesan Bunyi Pika.

"buat bising" untuk video

Operasi Pika menjana kesan bunyi untuk video juga sangat hebat! Itu! mudah! satu!

Sebagai contoh, hanya satu gesaan, video dan kesan bunyi boleh "keluar dari satu periuk":

Pemain trompet zaman pertengahan.
Pemain sangkakala zaman pertengahan.

Berbanding dengan operasi penjanaan video sebelum ini, kini anda hanya perlu menghidupkan butang "Kesan bunyi" di bawah.

Kaedah operasi kedua ialah mengalih suara secara berasingan selepas menghasilkan video.

Sebagai contoh, dalam video di bawah, klik "Edit" di bawah, dan kemudian pilih "Kesan Bunyi" :

Kemudian anda boleh menerangkan bunyi yang anda mahukan, contohnya:

Kereta lumba menghidupkan enjinnya.
Kereta lumba itu sedang menghidupkan enjinnya.

Kemudian dalam beberapa saat sahaja, Pika boleh menghasilkan kesan bunyi berdasarkan penerangan dan video, dan terdapat 6 bunyi untuk dipilih!

Perlu dinyatakan bahawa fungsi Sound Effects pada masa ini hanya dibuka untuk ujian kepada Super Collaborator (Super Collaborator) dan pengguna Pro.

Walau bagaimanapun, Pika turut berkata: "Kami akan melancarkan ciri ini kepada semua pengguna tidak lama lagi!"

Dan kini sekumpulan netizen telah mula menguji versi Beta ini, dan berkata:

Kesan bunyi berbunyi sangat konsisten dengan video, dan menambahkan banyak suasana.

Apakah prinsipnya?

Mengenai prinsip di sebalik Kesan Bunyi, walaupun Pika tidak mendedahkannya kali ini, selepas Sora menjadi popular, syarikat permulaan suara ElevenLabs telah menghasilkan fungsi alih suara yang serupa.

Pada masa itu, saintis kanan NVIDIA Jim Fan membuat analisis yang lebih mendalam tentang perkara ini.

Dia percaya bahawa pembelajaran AI yang tepat pemetaan video-ke-audio juga memerlukan pemodelan beberapa fizik "tersirat" dalam ruang terpendam.

Beliau memperincikan masalah yang perlu diselesaikan oleh Transformer hujung ke hujung apabila mensimulasikan gelombang bunyi:

1. Kenal pasti kategori, bahan dan lokasi spatial setiap objek.
2. Kenal pasti interaksi tertib tinggi antara objek: contohnya, adakah ia kayu, logam atau kepala dram? Pada kelajuan berapa ia memukul?
3. Kenal pasti persekitaran: Adakah restoran, stesen angkasa, atau Taman Yellowstone?
4. Dapatkan corak bunyi biasa objek dan persekitaran daripada memori dalaman model.
5. Gunakan peraturan fizikal yang "lembut", dipelajari untuk menggabungkan dan melaraskan parameter corak bunyi, malah mencipta bunyi baharu sepenuhnya dengan cepat. Ia agak seperti "audio prosedur" dalam enjin permainan.
6. Jika adegan itu kompleks, model perlu menindih berbilang trek bunyi mengikut kedudukan ruang objek.

Semua ini bukan modul eksplisit, tetapi dicapai melalui pembelajaran turunan kecerunan pada sebilangan besar pasangan (video, audio) yang dijajarkan secara sementara secara semula jadi dalam kebanyakan video Internet. Lapisan perhatian akan melaksanakan algoritma ini dalam pemberatnya untuk memenuhi matlamat resapan.

Selain itu, Jim Fan berkata pada masa itu bahawa kerja berkaitan Nvidia tidak mempunyai enjin audio AI berkualiti tinggi, tetapi dia mengesyorkan kertas kerja daripada MIT lima tahun lalu The Sound of Pixels:

Berminat rakan-rakan boleh klik pada pautan di akhir artikel untuk mengetahui lebih lanjut. . 12 Bait/saat. LLM moden biasanya menggunakan token dwibait 1x10^13 (iaitu 2x10^13 bait) untuk latihan. Seorang manusia akan mengambil masa kira-kira 100,000 tahun (12 jam sehari) untuk membaca.

Jalur lebar visual lebih tinggi

: kira-kira 20MB/s. Setiap satu daripada dua saraf optik mempunyai 1 juta gentian saraf, setiap satu membawa kira-kira 10 bait sesaat. Seorang kanak-kanak berumur 4 tahun menghabiskan kira-kira 16,000 jam dalam keadaan terjaga, iaitu kira-kira 1x10^15 apabila ditukar kepada bait. Jalur lebar data persepsi visual adalah lebih kurang 16 juta kali ganda lebar jalur data bahasa teks. Data yang dilihat oleh kanak-kanak berumur 4 tahun adalah 50 kali ganda data LLM terbesar untuk semua latihan teks yang diterbitkan di Internet.

Oleh itu, LeCun membuat kesimpulan:

Sama sekali kita tidak boleh mencapai kecerdasan buatan peringkat manusia tanpa membiarkan mesin belajar daripada input deria jalur lebar tinggi (seperti penglihatan).

Jadi, adakah anda bersetuju dengan pandangan ini?

Atas ialah kandungan terperinci Helah penguatan Pika: mulai hari ini, video dan kesan bunyi boleh dihasilkan "dalam satu periuk"!. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!