Teras keras untuk menyelesaikan pepijat fizik Sora! Empat universiti terkemuka di Amerika Syarikat dikeluarkan bersama: Pasang enjin fizik untuk penjana video

Some Bugs muncul selepas Sora dibebaskan permainan muncul tanpa diduga.

Interaksi objek sangat penting untuk menjana realisme video, tetapi pada masa ini, masih sangat sukar untuk mensintesis kelakuan dinamik objek 3D sebenar dalam interaksi.

Action Conditioned Dynamics ialah bidang penyelidikan yang memerlukan persepsi sifat bahan fizikal objek dan ramalan gerakan 3D berdasarkan sifat ini (seperti kekakuan objek).

Menilai sifat bahan fizikal kekal sebagai masalah yang berduri dan tidak dapat diselesaikan kerana mengukur sifat bahan fizikal objek sebenar adalah amat sukar kerana kekurangan sokongan data.

Baru-baru ini, MIT, Universiti Stanford, Universiti Columbia dan Universiti Cornell bersama-sama mencadangkan model berasaskan fizik yang dipanggil PhysDreamer, yang menggunakan pembelajaran dinamik objek yang dipelajari oleh model penjanaan video untuk memberikan interaktiviti objek 3D statik.

Pautan kertas: https://arxiv.org/pdf/2404.13026.pdf

Laman utama projek: https://physdreamer.github.io/Bys

membolehkan objek sebenar bertindak balas kepada interaksi baru, seperti daya luaran atau manipulasi ejen, dan kajian pengguna digunakan untuk menilai realisme interaksi tersintesis dengan menunjukkan keberkesanan pendekatan pada contoh objek anjal yang berbeza.

Penyusunan Masalah

Diberi objek statik yang diwakili oleh Gaussian 3D (di mana xp mewakili kedudukan, αp mewakili kelegapan, Σp mewakili matriks kovarians, dan cp mewakili zarah matlamat adalah untuk menganggar Medan sifat bahan fizikal objek untuk membolehkan sintesis gerakan interaktif yang realistik.

Sifat khusus termasuk jisim m, modulus Young E dan nisbah Poisson ν Modulus Young digunakan untuk mengukur kekukuhan bahan dan menentukan trajektori pergerakan objek sebagai tindak balas kepada daya luar: modulus Young yang lebih tinggi akan membawa. Untuk mencapai ubah bentuk yang lebih kecil, lebih ketegaran dan gerakan frekuensi yang lebih tinggi. . tanya modulus Young zarah untuk simulasi zarah.

Bagi sifat fizikal lain, jisim m_p zarah boleh dikira sebagai hasil darab ketumpatan malar (ρ) dan isipadu zarah Vp boleh dikira dengan membahagikan "isipadu bagi unit latar belakang" dengan "bilangan zarah yang terkandung dalam unit" untuk dianggarkan; pengaruh nisbah Poisson νp pada gerakan objek boleh diabaikan dan boleh diandaikan sebagai malar. .

Memandangkan objek yang diwakili sebagai Gaussian 3D, mula-mula tunjukkannya dari sudut pandangan tertentu (dengan latar belakang), kemudian gunakan model penjanaan imej-ke-video untuk menjana video rujukan objek yang sedang bergerak, dan kemudian gunakan yang boleh dibezakan kaedah titik bahan ( MPM (Kaedah Titik Bahan) dan pemaparan boleh dibezakan, yang mengoptimumkan medan bahan yang berbeza-beza dari segi ruang dan medan halaju awal, bertujuan untuk meminimumkan perbezaan antara video yang dipaparkan dan video rujukan.

Anak panah bertitik mewakili aliran kecerunan

1

3D Gaussian menggunakan set biji Gaussian 3D anisotropik untuk mewakili medan sinaran pemandangan 3D Walaupun ia diperkenalkan terutamanya sebagai kaedah sintesis paparan baharu 3D, ia boleh digunakan secara langsung kerana Gaussian 3D mempunyai sifat Lagrangian zarah.

Sama seperti kaedah PhysGaussian, penyelidik menggunakan kaedah titik bahan (MPM, Kaedah Titik Bahan) untuk mensimulasikan secara langsung dinamik objek pada zarah Gaussian.

Memandangkan taburan Gaussian 3D terletak terutamanya pada permukaan objek, proses pengisian dalaman pilihan boleh digunakan untuk meningkatkan realisme simulasi.

Mekanik kontinum dan bahan elastik

Dalam mekanik kontinum, ubah bentuk bahan disimulasikan melalui fungsi pemetaan ϕ, yang boleh memetakan ruang bahan dalam keadaan tidak berubah F Titik matriks Jacobian fungsi pemetaan ϕ, iaitu, kecerunan ubah bentuk adalah kunci untuk memahami dan menerangkan hubungan tegasan-tegangan bahan, yang melibatkan keadaan ubah bentuk tempatan bahan.

Dalam bahan yang sangat anjal, pengiraan tegasan Cauchy (tegasan) bergantung pada fungsi ketumpatan tenaga terikan ψ(F), yang boleh mengukur tahap ubah bentuk tidak tegar bahan secara amnya, fungsi ini ditentukan oleh saintis bahan berdasarkan bahan Direka berdasarkan prinsip simetri dan invarian putaran dan dipadankan dengan data eksperimen.

Selain itu, fungsi ketumpatan tenaga dalam model hiperelastik putaran tetap boleh diwakili oleh nilai tunggal σi bagi kecerunan ubah bentuk, dan parameter model μ dan λ mempunyai hubungan langsung dengan modulus Young E dan nisbah Poisson ν daripada bahan, Parameter ini penting untuk memahami bagaimana bahan berkelakuan apabila tertakluk kepada daya.

Material Point Method (MPM)

Penyelidik menggunakan Moving Least Squares Material Point Method (MLS-MPM) untuk menyelesaikan persamaan dinamik "govere material" mewakili ketumpatan, v(x, t) mewakili medan halaju ruang dunia, dan f mewakili daya luaran.

MPM ialah kaedah pengiraan yang digunakan untuk mensimulasikan dinamik pelbagai bahan Ia menggabungkan kelebihan kaedah Euler dan Lagrangian dan amat sesuai untuk simulasi pepejal, cecair, pasir, kain dan bahan lain. mampu mengendalikan perubahan topologi dalam bahan dengan berkesan, dan mudah disejajarkan pada unit pemprosesan grafik (GPU).

Pendiskretan ruang dilakukan dengan menganggap objek sebagai satu siri zarah Gaussian Setiap zarah p mewakili sebahagian kecil daripada isipadu objek dan membawa sifat seperti isipadu, jisim, kedudukan, halaju, kecerunan ubah bentuk dan halaju setempat. kecerunan medan.

Proses pengiraan MPM termasuk gelung pemindahan zarah-ke-grid (P2G) dan grid-ke-zarah (G2P):

Dalam peringkat P2G, momentum dipindahkan daripada zarah ke grid, dan rangkaian dikemas kini .

Kaedah MPM boleh mensimulasikan tingkah laku dinamik kompleks bahan dengan tepat, termasuk ubah bentuk bahan, patah dan interaksi.

2.

Para penyelidik menggunakan Kaedah Titik Bahan Kuasa Dua Bergerak (MLS-MPM) sebagai simulator fizikal dan model bahan hiperelastik putaran tetap untuk mensimulasikan proses objek tiga dimensi.

proses simulasi MLS-MPM

Simulator menggunakan MLS-MPM untuk mensimulasikan tingkah laku fizikal objek Fungsi simulasi menerima kedudukan zarah x, halaju v, kecerunan ubah bentuk F dan medan halaju setempat. langkah masa semasa t. Kecerunan C, serta set sifat fizikal zarah θ (termasuk jisim, modulus Young, nisbah Poisson dan isipadu semua zarah) dan langkah masa Δt (1×10^-4) diambil sebagai input, dan langkah seterusnya ialah output Nilai sepadan t+1.

Untuk mensimulasikan dinamik antara bingkai video bersebelahan, biasanya perlu mengulang ratusan sub-langkah.

Simulasi dan Rendering

Selepas simulasi, fungsi pemaparan boleh dibezakan Frender digunakan untuk menghasilkan zarah Gaussian bagi setiap bingkai, di mana Rt mewakili matriks putaran semua zarah yang diperoleh daripada simulasi

Kemudian video yang dijana digunakan sebagai rujukan untuk mengoptimumkan modulus E Young yang berbeza-beza secara spasial dan halaju awal v0 melalui fungsi kehilangan setiap bingkai, di mana fungsi kehilangan menggabungkan kehilangan L1 dan kehilangan D-SSIM, berat. Parameter λ ditetapkan kepada 0.1

Parameterisasi dan penyelarasan

Medan bahan dan medan halaju diparameterkan oleh dua triplanes dan tiga lapisan dalam pertambahan lapisan MLP (multilayer perpatis) kelancaran, penyelarasan jumlah variasi digunakan pada semua satah spatial kedua-dua medan ini.

Proses pengoptimuman

Proses pengoptimuman dibahagikan kepada dua peringkat untuk meningkatkan kestabilan dan mempercepatkan penumpuan:

dalam setiap modul yang pertama dimulakan dan ditetapkan secara rawak, dan kemudian hanya tiga bingkai pertama video rujukan digunakan untuk mengoptimumkan halaju awal setiap zarah.

2 Pada peringkat kedua, halaju awal ditetapkan dan modulus Young yang berbeza-beza secara spatial dioptimumkan. Untuk mengelakkan kecerunan daripada meletup atau hilang, isyarat kecerunan hanya mengalir ke bingkai sebelumnya.

Dengan cara ini, simulator dapat mensimulasikan tingkah laku fizikal objek dan mengoptimumkan sifat bahan dan keadaan awal berdasarkan video rujukan untuk menjana kesan dinamik yang realistik.

3. Mempercepatkan simulasi dengan pensubsampelan

Menggunakan zarah Gaussian tiga dimensi untuk pemaparan ketepatan tinggi biasanya memerlukan berjuta-juta zarah untuk mewakili pemandangan, yang membawa beban pengiraan yang besar untuk menjalankan simulasi.

Untuk meningkatkan kecekapan, model memperkenalkan proses subsampling, yang sangat mengurangkan jumlah pengiraan sambil mengekalkan ketepatan tinggi hasil pemaparan: hanya sebilangan kecil zarah pemacu digunakan untuk simulasi, dan kemudian melalui interpolasi Memacu zarah untuk mendapatkan kedudukan dan putaran zarah Gaussian secara berkesan mengimbangi kecekapan pengiraan dan kualiti pemaparan.

Secara khusus, model menggunakan algoritma pengelompokan K-Means untuk mencipta satu set zarah pemacu pada masa t=0, di mana setiap zarah pemacu diwakili oleh satu set atribut fizikal, termasuk kedudukan, halaju, kecerunan ubah bentuk dan medan halaju tempatan Kecerunan, modulus muda, jisim, nisbah dan isipadu Poisson.

Kedudukan awal zarah pemacu ialah purata kedudukan semua ahli kelompoknya, di mana bilangan zarah pemacu adalah jauh lebih kecil daripada bilangan zarah Gaussian tiga dimensi.

Semasa proses pemaparan, kedudukan dan putaran setiap zarah Gaussian tiga dimensi dikira dengan menginterpolasi kedudukan dan putaran zarah pemacu: untuk setiap zarah Gaussian tiga dimensi, mula-mula cari lapan zarah pemacu jiran terdekatnya pada masa t =0, Transformasi badan tegar T antara lapan zarah pemacu ini pada t=0 dan cap masa semasa kemudiannya dipasang untuk menentukan kedudukan semasa dan putaran zarah.

Hasil eksperimen

Dataset

Dengan merakam imej berbilang paparan, penyelidik mengumpul lapan adegan statik dunia sebenar, di mana setiap adegan termasuk objek dan satu pemandangan (sekuntum mawar merah, sekuntum bunga, sekuntum bunga mawar oren, sekuntum bunga tulip dan sekuntum bunga mawar putih), sekuntum bunga mawar, seutas tali telefon dan sebatang beanie kemudian menangkap empat video interaktif untuk Menerangkan pergerakan semula jadinya selepas interaksi, seperti mencucuk atau menyeret; , dan gunakan video sebenar sebagai rujukan tambahan untuk perbandingan.

Hasil eksperimen

Hasil analisis kualitatif pada modulus Young yang berbeza-beza secara spatial (kuantiti fizik yang mengukur keanjalan bahan)

pengguna sebenar dengan kaedah perbandingan membandingkan video yang dirakam dunia, dapat dilihat bahawa lebih daripada 80% peserta memilih model PhysDreamer dalam eksperimen dua pilihan (2AFC), mempercayai bahawa ia lebih unggul dalam keaslian gerakan dari segi kualiti visual; terdapat juga 65% daripada peserta PhysDreamer yang lebih disukai

Perlu diingat bahawa memandangkan adegan statik yang dibandingkan itu sendiri adalah konsisten, penilaian kualiti visual juga bergantung pada kesan gerakan objek yang dihasilkan pada tahap tertentu.

Ia boleh diperhatikan daripada kepingan corak gerakan pada titik masa yang berbeza bahawa PhysGaussian tidak mempunyai anggaran prinsip sifat bahan, menyebabkan amplitud gerakan yang dihasilkannya terlalu besar dan terlalu perlahan, yang tidak konsisten dengan realiti .

Berbanding dengan DreamGaussian4D, 70% dan 63.5% daripada sampel 2AFC lebih suka model PhysDreamer dari segi kualiti visual dan keaslian gerakan Seperti yang dapat dilihat dari gambar di atas, gerakan yang dihasilkan oleh DreamGaussian4D adalah berkala disimpan pada nilai malar yang kecil Sebaliknya, PhysDreamer boleh mensimulasikan kesan pengecilan dalam gerakan.

🎜

Atas ialah kandungan terperinci Teras keras untuk menyelesaikan pepijat fizik Sora! Empat universiti terkemuka di Amerika Syarikat dikeluarkan bersama: Pasang enjin fizik untuk penjana video. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!