Rumah > Artikel > Peranti teknologi > Jadikan peninggalan budaya "hidup", teknologi pembinaan semula 3D awan video enjin gunung berapi didedahkan
China mempunyai sejarah yang panjang, warisan budaya yang mendalam, dan sejumlah besar peninggalan budaya Sebagai penghabluran kebijaksanaan generasi terdahulu, nilai peninggalan budaya sebagai dokumen adalah diri sendiri. jelas. Buku-buku kuno adalah pembawa penting merekodkan tamadun China dan warisan budaya berharga yang telah diwarisi sehingga hari ini Perlindungan peninggalan budaya juga merupakan kerja asas jangka panjang yang penting. Lebih daripada 2,800 perpustakaan di seluruh negara mengumpul lebih daripada 50 juta buku kuno, satu pertiga daripadanya rosak pada tahap yang berbeza-beza. Mengikut bilangan kakitangan pemulihan peninggalan budaya yang sedia ada, ia akan mengambil masa ratusan tahun untuk memulihkan semua peninggalan budaya dalam koleksi itu.
"Nota Perjalanan tentang Buku Purba" dicipta bersama oleh ByteDance dan Arkib Sejarah Pertama China, Akademi Dunhuang, Muzium Slip Gansu dan Perpustakaan Negara (Muzium Buku Klasik Negara) Buku Purba projek revitalisasi, memulihkan empat penemuan utama dokumen purba - tulang oracle Runtuhan Yin, slip buluh Juyan Han, tulisan anumerta Dunhuang, dan arkib Ming dan Qing, biar buku kuno didigitalkan "Live" .
Projek ini tertumpu pada dokumentari interaktif VR, bergantung pada teknologi pembinaan semula 3D terkini Makmal Multimedia Enjin Gunung Berapi untuk mencipta semula artifak luar talian ke dalam pemandangan maya PICO menggunakan teknologi video medan cahaya yang dibangunkan sendiri untuk mengumpul dan memulihkan maklumat medan cahaya watak dinamik dengan jelas, memberikan kebebasan menonton yang tinggi dan pengalaman interaktif dalam adegan VR. Dalam dokumentari ini, penonton boleh menggunakan PICO, VR mata kasar Douyin dan kaedah lain untuk mengembara melalui masa dan ruang tanpa meninggalkan rumah, secara peribadi mengambil bahagian dalam acara bersejarah dan mempunyai hubungan rapat dengan dan menghargai buku-buku kuno.
Artikel ini memfokuskan pada teknologi pembinaan semula 3D Makmal Multimedia Enjin Gunung Berapi dan prinsip, kemajuan dan bidang aplikasi teknologi video medan cahaya untuk membantu semua orang lebih memahami dan memahami teknologi pembinaan semula 3D dan membantu teknologi berkaitan menjadi dilaksanakan dalam produk dan aplikasi amalan.
Pendigitalan peninggalan budaya memerlukan pembinaan semula tiga dimensi dan pemulihan digital peninggalan budaya, dan ia juga menimbulkan cabaran besar kepada teknologi pembinaan semula tiga dimensi:
penyambungan awan titik, analisis ciri, penjanaan jaringan dan tekstur, dsb. Pembinaan semula 3D tradisional menggunakan proses membina semula maklumat 3D imej berdasarkan penglihatan atau pelbagai mod (data kedalaman, cth., laser), yang boleh memodelkan objek dan pemandangan statik, tetapi Terdapat kekurangan penyelesaian keseluruhan yang berkesan untuk memodelkan objek dan pemandangan dinamik.
Makmal Multimedia Enjin Gunung Berapi mempunyai teknologi pembinaan semula objek yang dibangunkan sendiri, teknologi pembinaan semula pemandangan dan teknologi video medan cahaya, yang boleh membina bentuk objek statik ketelitian tinggi dan memulihkan bahan kompleksnya ; Keupayaan untuk memodelkan pemandangan besar dengan berkesan, termasuk bandar, taman, ruang perumahan, dsb., adalah asas penting untuk kembar digital dan ia boleh menggunakan teknologi video medan cahaya termaju untuk membina semula dan menghasilkan semula objek dinamik dan pemandangan dinamik; permintaan tontonan dan siaran langsung, dengan set lengkap penyelesaian teknikal.
2.1 Teknologi pembinaan semula objek: kedua-dua perlindungan peninggalan budaya dan pengimbasan tepat Dalam projek "Nota Perjalanan tentang Buku Purba", Makmal Multimedia Enjin Volcano telah memulihkan lebih daripada 40 peninggalan budaya secara digital. Dalam proses pemulihan digital peninggalan budaya, kesukaran pertama yang dihadapi ialah peninggalan budaya perlu dilindungi, dan terdapat sekatan tertentu pada peralatan pengumpulan Sebagai contoh, peralatan laser berketepatan tinggi yang biasa digunakan tidak boleh digunakan untuk mengimbas peninggalan budaya. Ini mendorong pasukan
Volcano Engine Multimedia Laboratory. Walau bagaimanapun, kaedah pembinaan semula berasaskan penglihatan tradisional tidak dapat mengendalikan objek bertekstur lemah, dan juga sukar untuk membina semula item dengan bentuk yang kompleks (seperti selipar panjang dan sempit, tulang oracle rata). Untuk tujuan ini, penyelesaian teknikal Medan Jarak Ditandatangani (SDF) digunakan untuk mewakili objek tiga dimensi, dan kaedah pembelajaran mendalam digunakan untuk mengatasi kesukaran pembinaan semula di atas. SDF mewakili jarak arah dari setiap titik dalam ruang ke objek Ia adalah perwakilan tersirat Gambarajah skematik SDF dua dimensi adalah seperti berikut. Rajah SDF Cara menyelia rangkaian neural agar sesuai dengan SDF perlu dikaji masalah. Mula-mula gunakan algoritma Structure from Motion (SfM) untuk mengira dengan tepat postur kamera bagi imej yang ditangkap. Dengan postur kamera, maklumat spatial yang diwakili oleh SDF dipaparkan pada imej menggunakan kaedah pemaparan boleh dibezakan, dan imej yang diberikan dibandingkan dengan imej yang dikumpul dari perspektif itu, dan rangkaian saraf dioptimumkan secara berterusan untuk menjadikan SDF lebih baik pada setiap perspektif koleksi. Hasil pemaparan adalah sekonsisten mungkin dengan imej yang ditangkap sebenar. Untuk meningkatkan lagi ketepatan pembinaan semula, titik tiga dimensi yang diperoleh melalui pembinaan semula jarang ditambah sebagai kekangan semasa mengoptimumkan SDF, yang boleh memulihkan ciri terperinci objek dengan lebih baik. Untuk mencapai tujuan pembinaan semula yang lengkap, Makmal Multimedia Enjin Volcano juga menggabungkan algoritma segmentasi dan algoritma pembinaan semula untuk membina semula kawasan bawah objek dengan berkesan. Memandangkan objek perlu dibetulkan pada kedudukan tertentu semasa proses pengimbasan, tiada gambar boleh dikumpulkan dari permukaan bawah objek. Pembinaan semula objek yang lengkap adalah untuk menyelesaikan masalah pembinaan semula bahagian bawah objek Kaedah biasa ialah kaedah penggantungan atau pembinaan semula berbilang segmen ditambah penyambungan selepas pemprosesan. Kaedah penggantungan tidak cukup selamat untuk peninggalan budaya, dan proses pemprosesan selepas penyambungan adalah panjang dan tidak boleh diautomasikan. Atas sebab ini, Volcano Engine Multimedia Laboratory telah menambahkan segmentasi imej automatik pada algoritma pembinaan semula, yang boleh menyatukan data yang diambil daripada tangkapan hadapan dan belakang dan membina semula mereka bersama-sama untuk mendapatkan hasil pembinaan semula yang lengkap daripada hasil pembinaan semula yang lengkap Seperti yang ditunjukkan di bawah. Memodelkan hasil tanpa teknik pembinaan semula penuh Memodelkan hasil menggunakan teknologi pembinaan semula yang lengkap Sorotan ialah cabaran utama untuk pembinaan semula objek Di satu pihak, sorotan mempengaruhi padanan titik ciri, mengakibatkan pose kamera yang tidak tepat sorotan juga akan memusnahkan ketekalan hasil pemerhatian antara sudut tontonan yang berbeza, menyebabkan gangguan kepada pembinaan semula. Untuk tujuan ini, Volcano Engine Multimedia Laboratory telah meringkaskan satu set kaedah untuk menghapuskan sorotan menggunakan cahaya terpolarisasi, yang secara berkesan boleh mengeluarkan sejumlah besar sorotan Perbandingan hasil penyingkiran sorotan ditunjukkan dalam rajah di bawah. Sebelum mengalih keluar sorotan Selepas menghapuskan sorotan Kaedah Makmal Multimedia Enjin Gunung Berapi juga boleh mensimulasikan sifat pantulan/pembiasan objek berbeza untuk merealisasikan pembinaan khas objek material. Model , Hasil pembinaan semula peninggalan budaya ditunjukkan dalam rajah di bawah. Gambar asal peninggalan budaya Hasil pembinaan semula peninggalan budaya Sesetengah daripada peninggalan budaya di empat muzium utama adalah peninggalan budaya yang berharga seperti kertas dan buluh peninggalan ini juga sukar untuk dibawa keluar dan dikumpulkan dari kabinet pameran. Sebagai tindak balas kepada situasi ini, Makmal Multimedia Enjin Gunung Berapi mempunyai peralatan pengumpulan yang dibangunkan sendiri yang menggabungkan polarizer optik, yang boleh menghapuskan masalah cahaya sesat, sorotan dan pantulan yang disebabkan oleh kabinet paparan kaca, membolehkan kami mempunyai lapisan kaca perlindungan Walaupun dalam keadaan cangkerang, peninggalan budaya masih diimbas dan dibina semula dengan kesetiaan yang tinggi. Artifak dalam bekas paparan kaca Hasil pembinaan semula peninggalan budaya Selain itu, teknologi pembinaan semula objek Makmal Multimedia Enjin Volcano juga termasuk Anggaran pose yang tepat, tekstur realistik ( Pantulan meresap, pantulan spekular, lutsinar ) Pemulihan bahan kompleks dan pembinaan semula permukaan halus juga dalam " Ia adalah digunakan dalam projek "Nota Perjalanan Buku Purba" untuk mencapai pemulihan 1:1 kesetiaan tinggi bagi peninggalan budaya berharga dan menukarnya kepada sumber digital, membolehkan penonton "menyelami" muzium dan menjadikan koleksi lebih popular. Teknologi pembinaan semula objek Makmal Multimedia Enjin Gunung Berapi mempunyai kesejagatan yang kuat Ia bukan sahaja sesuai untuk peninggalan budaya, tetapi juga sesuai untuk beberapa objek yang sukar diproses dengan pembinaan semula tradisional , seperti bilah yang sangat nipis, dsb., juga boleh mencapai hasil pembinaan semula yang baik. Atas: prop seperti pisau dan batang kayu; 🎜> 2.2 Algoritma pembinaan semula pemandangan yang dibina sendiri: kecekapan yang lebih tinggi, ketepatan yang lebih tinggi Makmal Multimedia Enjin Gunung Berapi menggabungkan teknologi AI dan prinsip asas geometri berbilang pandangan untuk membina rangka kerja algoritma pembinaan semula visual yang teguh, tepat dan lengkap. Proses pembinaan semula terdiri daripada tiga langkah utama : pemprosesan imej, pengoptimuman awan titik dan pembinaan semula jaringan . Makmal Multimedia Enjin Volcano menggunakan teknologi kecerdasan buatan termaju untuk melakukan denoising, resolusi super dan pengekstrakan ciri pada imej dan padanan dan pemprosesan lain , dengan itu mengatasi banyak batasan kaedah tradisional. Kemudian algoritma SfM dan Pelarasan Bundle (BA) digunakan untuk mengekstrak struktur geometri dan parameter kamera yang jarang daripada imej. Pada masa yang sama, pasukan itu membangunkan algoritma anggaran pose yang menyokong input data berbilang sensor seperti kamera panoramik, kumpulan berbilang kamera, kamera RGBD, lidar, GPS/IMU, dsb., untuk mencapai ketepatan tinggi, berbilang modal. , dan pembinaan semula jarang adaptif. Untuk memproses data berskala besar, pasukan membangunkan pembinaan semula blok dan strategi penggabungan peta untuk mencapai pembinaan semula selari kelompok teragih, meningkatkan kecekapan pembinaan semula dengan ketara. Selepas melengkapkan pembinaan semula pemandangan yang jarang dilakukan, tukar maklumat imej dua dimensi kepada maklumat awan titik tiga dimensi Selepas memperoleh awan titik pemandangan, lakukan pembinaan semula Mesh. Makmal Multimedia Enjin Volcano telah membangunkan sendiri pelbagai algoritma pengoptimuman grid untuk mencapai pelicinan grid, denoising, penyederhanaan dan pengisian lubang untuk mendapatkan model grid yang lebih halus, lengkap dan berkualiti tinggi. Terima kasih kepada anggaran pose kamera berketepatan tinggi dan pengoptimuman kualiti imej semasa pemprosesan imej, digabungkan dengan algoritma pemetaan yang dibangunkan sendiri, peta tekstur berkualiti tinggi dengan definisi yang lebih tinggi dan jahitan yang lebih sedikit boleh diperolehi. Pada masa yang sama, algoritma pembungkusan semula tekstur dioptimumkan untuk mencapai penggunaan tekstur yang lebih tinggi, mengurangkan sisa sumber penyimpanan dan meningkatkan resolusi tekstur yang berkesan. Algoritma pendaftaran imej tradisional Gunung berapi Algoritma Awan Video Enjin Algoritma Pemodelan Tradisional Hasil pemodelan algoritma awan video enjin gunung berapi Pemodelan pemandangan bandar Algoritma Awan Video Enjin Gunung Berapi Hasil pembinaan semula Kuil Suzhou Yuantong Teknologi pembinaan semula item dan teknologi pembinaan semula tempat kejadian Makmal Multimedia Enjin Gunung Berapi Ia boleh memulihkan tinggalan budaya yang berbeza saiz dan bentuk dalam perkadaran yang sama dan dengan ketepatan tinggi. Teknologi yang disebutkan di atas boleh menukar peninggalan budaya luar talian kepada dalam talian, dan merealisasikan persembahan maya peninggalan budaya dalam PICO dan Douyin Pengguna boleh bermain dengan tulisan tulang oracle di tangan mereka dan melihat teks padanya dengan jelas, mencapai pengalaman menonton peninggalan budaya. yang tidak tersedia dalam lawatan tradisional , dan pada masa yang sama, anda boleh mengatasi had ruang dan bersiar-siar di sekitar Grottoes Dunhuang. Di samping itu, teknologi ini boleh menukar peninggalan budaya berharga luar talian kepada sumber digital kekal dalam talian, merealisasikan perlindungan digital peninggalan budaya dan membolehkan generasi akan datang mengalami gambaran penuh peninggalan budaya secara peribadi. Untuk dapat menonton tarian besar secara mendalam dalam Dunhuang Grottoes maya dan merasakan bahawa ia mengatasi realiti Pengalaman, Volcano Engine Multimedia Laboratory yang dibangunkan sendiri teknologi video medan cahaya boleh membina semula watak dan adegan dinamik dengan kesetiaan tinggi, mencapai tahap lanjutan industri . Data jejaring 3D dinamik (Jaringan Dinamik) boleh mewakili watak dan pemandangan yang dinamik, tetapi cara membina semula jejaring 3D dinamik berkualiti tinggi dan menjadikan imej yang baru dipaparkan sebagai realistik seperti foto adalah masalah yang sukar . Jika adegan dibina semula secara manual oleh pereka pemandangan 3D, kualiti pembinaan semula yang lebih baik akan diperolehi, tetapi kos buruh yang lebih besar akan ditanggung jika adegan 3D dibina semula secara automatik melalui algoritma seperti SFM/MVS, tekstur pemandangan itu diperlukan untuk dibina semula. Keperluan tertentu diperlukan, dan hasil pembinaan semula mungkin mengandungi butiran geometri yang tidak tepat dan herotan tekstur. Teknologi medan sinaran saraf menggunakan rangkaian saraf untuk pembinaan semula tersirat dan menggunakan model pemaparan yang boleh dibezakan untuk mempelajari cara untuk memaparkan imej daripada perspektif baharu daripada pandangan sedia ada, dengan itu mencapai pemaparan imej fotorealisme, iaitu Medan Sinaran Neural teknologi (NeRF). Model pemaparan boleh dibezakan memodelkan proses pemaparan daripada model dan tekstur ruang tiga dimensi kepada imej Ciri boleh dibezakan membolehkan geometri dan tekstur ruang tiga dimensi dipelajari melalui rangkaian saraf di bawah pengawasan imej perspektif sedia ada. Di bawah perspektif baharu yang tidak diketahui, geometri ruang tiga dimensi yang dipelajari boleh dipaparkan semula untuk mendapatkan imej daripada perspektif baharu. Makmal Multimedia Enjin Gunung Berapi menggabungkan teknologi medan sinaran saraf dengan teknologi pemodelan mesh tradisional. Dalam amalan khusus, garis besar geometri kasar watak mula-mula dibina semula, dan teknologi NeRF dipertingkatkan, garis besar geometri digabungkan sebagai priori untuk menambah panduan latihan, geometri ruang tiga dimensi dipelajari secara tersirat, dan imej daripada perspektif baharu yang padat dipaparkan semula. Semasa proses latihan medan sinaran saraf, untuk adegan watak dinamik, pasukan menggunakan beberapa strategi pengoptimuman untuk meningkatkan kesan penjanaan perspektif baharu dalam adegan ini, seperti menggunakan ungkapan hierarki berdasarkan pengekodan cincang untuk meningkatkan kelajuan latihan model dan menggunakan latihan penstriman untuk menambah baik dinamik antara bingkai adegan, dsb. Akhir sekali, teknologi gabungan video digunakan untuk mempelajari maklumat latar belakang secara automatik dan merealisasikan pencahayaan semula latar depan, supaya pelakon latar depan dan adegan latar belakang boleh disepadukan dengan lancar. Pada masa yang sama, teknologi video medan cahaya Makmal Multimedia Enjin Gunung Berapi boleh merealisasikan penyuntingan, pembinaan semula dan penghasilan semula NeRF adegan besar dinamik yang kompleks . Teknologi video medan cahaya Makmal Multimedia Enjin Volcano hanya memerlukan Keupayaan berbilang kamera yang jarang menjana data medan cahaya padat, terutamanya menggunakan teknologi penjanaan perspektif baharu berdasarkan pembelajaran mendalam. Berbanding dengan data video tradisional, data video medan cahaya mempunyai ciri volum data yang besar Pasukan ini menggunakan teknologi pengekodan pengagregatan berbilang paparan untuk memampatkan data medan cahaya untuk mengurangkan tekanan penghantaran dan penyimpanan. Digabungkan dengan teknologi siaran langsung berskala besar dan teknologi penghantaran RTC , adalah mungkin untuk mencapai siaran langsung atas permintaan dan video medan cahaya. Memandangkan teknologi 3D terus matang, teknologi 3D Volcano Engine Multimedia Laboratory bukan. hanya aplikasi khusus telah dilaksanakan dalam bidang VR, pemanduan autonomi, siaran langsung video, permainan dan senario lain, dan akan terus diterokai dalam bidang industri, penjagaan perubatan, pembinaan dan kelengkapan rumah, aeroangkasa dan bidang lain. Volcano Engine berharap untuk menggunakan secara meluas teknologi pembinaan semula objek, teknologi pembinaan semula pemandangan dan teknologi video medan ringan kepada produk dan projek dalam pelbagai industri, memberi perkhidmatan kepada pelanggan korporat, dan membawa pengguna pengalaman inovatif yang lebih tinggi, lebih interaktif dan mengasyikkan. Makmal Multimedia Enjin Gunung Berapi ialah pasukan penyelidikan di bawah Bytedance Ia komited untuk meneroka teknologi termaju dalam bidang multimedia dan mengambil bahagian dalam kerja penyeragaman antarabangsa Banyak algoritma inovatif serta penyelesaian perisian dan perkakasannya telah meluas digunakan dalam perniagaan Douyin, Douyin, Multimedia untuk produk seperti Xigua Video, dan menyediakan perkhidmatan teknikal kepada pelanggan peringkat perusahaan Volcano Engine. Sejak penubuhan makmal, banyak kertas kerja telah dipilih ke dalam persidangan antarabangsa terkemuka dan jurnal perdana, dan telah memenangi beberapa kejohanan pertandingan teknikal antarabangsa, anugerah inovasi industri dan anugerah kertas terbaik. Dalam hal ini,
2.3 Teknologi video medan cahaya yang dibangunkan sendiri: masalah mengimbangi kos dan ketepatan
3 Ringkasan dan Tinjauan
Atas ialah kandungan terperinci Jadikan peninggalan budaya "hidup", teknologi pembinaan semula 3D awan video enjin gunung berapi didedahkan. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!