Video definisi tinggi 16 saat kanta tunggal 720p dijana dengan satu klik, dan versi sumber terbuka Sora mempunyai kejutan baharu

Pasukan Luchen Open-Sora telah mencapai kemajuan cemerlang dalam 720p kualiti video Vincent definisi tinggi dan masa penjanaan, menyokong produksi filem pendek berkualiti tinggi yang lancar dalam apa jua gaya satu lagi kejutan kepada komuniti sumber terbuka dan terus buka sumber segalanya.

Alamat sumber terbuka: https://github.com/hpcaitech/Open-Sora

Melalui berat model mereka, mereka boleh menghasilkan pelbagai filem pendek yang menarik, seperti sentuhan rapat antara ombak dan keong, dan yang tidak dapat diduga Rahsia hutan.

Penyampaian potret watak juga agak realistik.

juga boleh memberikan gaya cyberpunk dengan tepat, menjadikan filem pendek itu serta-merta penuh dengan rasa masa depan dan teknologi yang kukuh. Gambar dimampatkan.

juga boleh menjana tangkapan animasi yang menarik dan terang, membawakan pengalaman visual yang sangat ekspresif. Gambar dimampatkan.

Malah pengeluaran kanta peringkat filem boleh dikendalikan dengan mudah.

Sebagai contoh, capai kesan zum lancar dan tambahkan kesan visual gred profesional pada video. Gambar dimampatkan.

Ia juga membantu pembuat filem mencipta syot filem yang realistik. Gambar dimampatkan.

Model Open-Sora Luchen mendedahkan prospek yang luas dalam bidang penjanaan video dengan prestasi cemerlangnya, dan berat model dan kod latihan mereka telah menjadi sumber terbuka sepenuhnya Rakan yang berminat boleh melawati alamat GitHub mereka: ^{https ://github .com/hpcaitech/Open-Sora}

Pejuang sumber terbuka dalam industri video Vincentian

LambdaLabs, sebuah unicorn dalam industri teknologi Amerika, mencipta nombor berdasarkan berat model Open-Sora yang dibuka sebelum ini- diperolehi oleh pasukan Luchen LEGO Universe, di mana peminat LEGO menemui pengalaman kreatif yang terbaik.

Pasukan Luchen amat menyedari tentang pecutan sumber terbuka untuk penemuan teknologi Vincent Video Mereka bukan sahaja terus membuka sumber berat model, tetapi juga menerbitkan laluan teknikal di Github, supaya setiap pemain boleh menjadi. tuan model besar Vincent Video Mereka bukan lagi sekadar penonton. Sebaik sahaja laporan itu keluar, kami dengan pantas menjalankan penggalian dan analisis yang mendalam, cuba menangkap arah aliran terkini dalam teknologi video Vincent. (Alamat laporan: https://github.com/hpcaitech/Open-Sora/blob/main/docs/report_03.md)

Penyahkodan kedalaman teknikal

Dalam laporan teknikal yang dikeluarkan oleh pasukan Luchen OpenSora ini, mereka menganalisis secara mendalam inti dan perkara utama latihan model ini. Berdasarkan versi sebelumnya, ia memperkenalkan Rangkaian Pemampatan Video, algoritma model resapan yang lebih baik, lebih dikawal dan menggunakan lebih banyak data untuk melatih model penjanaan resapan 1.1B.

Dalam era "kuasa pengkomputeran adalah raja" ini, kami amat menyedari tentang dua perkara yang menyakitkan utama latihan model video: penggunaan sumber pengkomputeran yang besar dan kualiti output model yang tinggi. Pasukan Luchen Open-Sora berjaya menemui keseimbangan antara kos dan kualiti dengan penyelesaian yang minimalis dan berkesan.

Pasukan OpenSora mencadangkan rangkaian pemampatan video (VAE) yang inovatif, yang memampatkan dalam dua dimensi: ruang dan masa. Khususnya, mereka mula-mula melakukan pemampatan 8x8x dalam dimensi spatial, diikuti dengan pemampatan 4x lagi dalam dimensi temporal. Melalui strategi pemampatan inovatif ini, ia bukan sahaja mengelakkan kelemahan mengorbankan kelancaran video akibat pengekstrakan bingkai, tetapi juga mengurangkan kos latihan dengan ketara, mencapai pengoptimuman dwi kos dan kualiti.

^{Struktur Rangkaian Mampatan Video}

Stable Ridfusion 3, model penyebaran terkini, dengan ketara meningkatkan kualiti gambar dan generasi video dengan menggunakan teknologi aliran yang diperbetulkan untuk menggantikan DDPM. Walaupun kod latihan aliran diperbetulkan SD3 masih belum didedahkan kepada umum, pasukan Luchen Open-Sora telah menyediakan penyelesaian latihan lengkap berdasarkan hasil penyelidikan SD3, termasuk:

• Alir diperbetulkan yang ringkas dan mudah digunakan latihan

• Pensampelan langkah masa log-norma untuk pecutan latihan

• Pensampelan langkah masa berdasarkan resolusi dan panjang video

Dengan mengintegrasikan teknologi ini, kami bukan sahaja dapat mempercepatkan latihan, Ia juga boleh mengurangkan masa menunggu dalam fasa inferens dengan ketara dan memastikan pengalaman pengguna yang lancar. Selain itu, penyelesaian latihan ini juga menyokong keluaran berbilang nisbah aspek video semasa proses inferens, memenuhi keperluan bahan video dalam pelbagai senario dan menyediakan pencipta kandungan video dengan alat kreatif yang lebih kaya.

Mereka juga mendedahkan lebih banyak butiran teras tentang latihan model dalam laporan, termasuk petua praktikal untuk pembersihan data dan penalaan model, serta membina sistem penilaian model yang lebih lengkap untuk memastikan keteguhan dan keupayaan generalisasi model. Mereka juga menyediakan aplikasi Gradio yang boleh digunakan dengan satu klik, dan menyokong parameter pelarasan seperti skor gerakan output, skor estetik, dan kaedah pergerakan lensa Malah ia boleh mengubah suai arahan secara automatik melalui GPT-4o dengan satu klik dan menyokong input bahasa Cina. Jika anda tidak dapat mengelak daripada mengotorkan tangan anda, sila klik https://github.com/hpcaitech/Open-Sora/blob/main/docs/report_03.md

Hancurkan gelung tertutup, pemerkasaan sumber terbuka

Dari OpenAI Sora Sejak dikeluarkan, jangkaan industri terhadap keterbukaan Sora telah meroket, tetapi realitinya ia terus menjadi permainan menunggu. Sumber terbuka Luchen Open-Sora telah menyuntik tenaga yang kuat ke dalam inovasi dan pembangunan Vincent Video. "Mengajar seorang lelaki memancing adalah lebih teruk daripada mengajarnya memancing." Dengan melawati alamat github mereka, anda boleh mendapatkan berat model dan set lengkap kod latihan secara percuma dengan ambang sifar, yang membolehkan pengguna mengubah daripada pengguna kandungan pasif kepada pencipta kandungan aktif. Transformasi ini telah membuka kunci kemahiran baharu untuk pengguna perusahaan untuk membangunkan aplikasi Vincent Video secara bebas Sama ada ia mencipta permainan yang mengasyikkan, iklan kreatif atau menghasilkan filem dan televisyen blockbuster, senario aplikasi teknologi Vincent Video telah diperluaskan secara eksponen.

Kami berharap percikan ini dapat menyemarakkan semangat untuk inovasi dalam keseluruhan bidang video Vincent dan mencapai api padang rumput dari satu titik ke permukaan.

Akhirnya dilampirkan pautan sumber terbuka Luchen OpenSora: https://github.com/hpcaitech/Open-Sora

^{Pautan rujukan:}

^{/https://lamdb.ai laporan /Text2Bricks-Fine-tuning-Open-Sora-in-1-000-GPU-Hours--Vmlldzo4MDE3MTky}

^{https://hpc-ai.com/blog/open-sora-from-hpc- ai -tech-team-continues-open-source-generate-any-16-second-720p-hd-video-with-one-click-model-weights-ready-to-use}

Atas ialah kandungan terperinci Video definisi tinggi 16 saat kanta tunggal 720p dijana dengan satu klik, dan versi sumber terbuka Sora mempunyai kejutan baharu. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!