Kavita Bala, Dekan Cornell School of Computing: Apakah itu "Metaverse"? Mata Tuhan mungkin dilahirkan melalui AI

Artikel ini diterbitkan semula daripada Lei Feng.com Jika anda perlu mencetak semula, sila pergi ke tapak web rasmi Lei Feng.com untuk memohon kebenaran.

Penyelidikan saya dalam beberapa tahun kebelakangan ini tertumpu terutamanya pada penampilan visual dan pemahaman, daripada resolusi mikron kepada bertaraf dunia. Sebelum saya memulakan ucapan saya, izinkan saya menunjukkan kepada anda contoh yang sangat menarik Antara muka visual antara protagonis dan dunia dalam filem ini sangat menarik.

Anda dapat melihat bahawa apabila orang ini berjalan di dunia nyata, satu siri teks muncul pada antara muka visualnya. Protagonis ialah peminat kereta, jadi antara muka visual menunjukkan kepadanya maklumat yang kaya tentang kereta itu:

Dengan hanya foto, antara muka visual ialah Can memberitahu anda semua maklumat tentang kereta ini. Kami memerlukan penyelidikan dalam bidang penglihatan komputer dan pemahaman visual untuk memajukan teknologi ini.

Protagonis terus berjalan, dan apabila anda semakin dekat dengan model ini, anda akan mendapati bahawa mereka bukan orang sebenar, walaupun mereka kelihatan sangat realistik. Untuk mencapai teknologi sebegini, kita perlu mengkaji Realistic Appearance (Realistic Appearance).

Kemudian protagonis berjalan ke tingkap membeli-belah dan melihat semua produk di tingkap. Kali ini antara muka visualnya menunjukkan kepadanya semua maklumat tentang produk di dalam, malah mensimulasikan kesan pemakaian produk Protagonis boleh mengalami produk tanpa menyentuhnya.

Untuk mencapai kesan video yang saya tunjukkan kepada anda, kami memerlukan kaedah yang dipanggil "Graf Songsang( Grafik songsang" teknologi boleh mendigitalkan semua sifat barang dan berinteraksi dengannya.

Saya tunjukkan contoh-contoh ini untuk menunjukkan kepada anda pelbagai teknologi yang sedang kami bangunkan Anda pasti pernah mendengar tentang realiti tambahan/realiti campuran Yang saya sebutkan tadi semuanya adalah teknologi sekarang memacu pembangunan realiti tambahan. Hari ini saya akan memberi tumpuan kepada teknologi visual.

Model yang kelihatan sangat realistik sehingga anda tidak dapat mengetahui sama ada ia asli atau palsu ialah rupa yang realistik dalam bidang grafik komputer, terdapat satu lagi model dalam bidang ini untuk mengambil foto sesuatu objek dan bagaimana kita memahami semua sifat objek dalam foto itu, maka kita boleh terus mengembangkan atas dasar ini untuk memahami sifat-sifat dunia.

Ini ialah tiga kandungan utama yang ingin saya bincangkan hari ini:

• Model penampilan visual berasaskan fizikal (Model Penampilan Visual Berasaskan Fizik)
• Grafik Songsang (Grafik Songsang)
• Dunia- skala Penemuan Visual（Penemuan Visual Skala Dunia）

1 Model penampilan visual berasaskan fizikal

Mari kita mulakan dengan grafik berasaskan fizik.

Mula-mula saya ingin memperkenalkan ujian terkenal: ujian kotak Cornell, yang direka untuk menentukan ketepatan perisian pemaparan dengan membandingkan pemandangan yang diberikan dengan foto sebenar adegan yang sama. Dua gambar yang saya tunjukkan kepada anda, satu dibuat secara buatan dan satu lagi adalah nyata - sebenarnya kiri adalah pemandangan sebenar dan kanan adalah gambar maya.

Selama bertahun-tahun orang telah bekerja keras untuk mencipta gambar yang ujian ini tidak dapat mengesan sebagai asli atau palsu. Tetapi dunia sebenar tidak semudah gambar dalam kotak Cornell Terdapat banyak jenis bahan di dunia nyata, seperti kain, kulit, daun, makanan dan lain-lain yang ditunjukkan dalam gambar ini. Orang ramai sentiasa berinteraksi dengan dunia dan menilai sama ada apa yang mereka lihat itu benar. Apabila kita ingin mensimulasikan kesan visual realistik model di sebelah kiri di bawah, cara untuk mewakili bahan-bahan kompleks ini merupakan satu cabaran besar. Ini juga merupakan masalah yang telah saya kaji selama bertahun-tahun.

Jadi saya akan bercakap tentang cara menangkap rupa kain dan kain dengan betul. Mula-mula, mari kita tanya dua gambar ini Sebagai seorang manusia, anda boleh segera mengenali bahawa sebelah kiri adalah baldu, dan yang kanan adalah bahan seperti sutera yang berkilat. Apakah yang menjadikan baldu kelihatan seperti baldu, dan apakah yang membuatkan sutera kelihatan berbeza daripada baldu tetapi kelihatan seperti sutera?

Jawapannya ialah: struktur.

Kedua-dua fabrik itu bukan sahaja berbeza secara dangkal, intipatinya ialah kesan visualnya berbeza kerana strukturnya yang berbeza. Jika kita memahami struktur ini, kita menangkap intipati visual mereka.

Jadi apa yang kami lakukan dalam projek asal ialah: lihat imbasan mikro-CT bahan-bahan ini.

Dalam imbasan mikro-CT baldu, kita dapat melihat bahawa baldu adalah bahan berbulu.

Struktur sutera sangat berbeza berjalin, dan benang meledingkan dan pakan membentuk corak tertentu sutera sangat ketat, ia memberikan sutera kesan berkilat.

Pada ketika ini, kita akan mendapati bahawa selagi kita memahami struktur mikro bahan, pada dasarnya kita boleh memahami model penampilan bahan itu. Walaupun bahan itu sangat kompleks, tetapi ia masih kekal hingga ke akarnya.

Setelah kami memahami struktur, kami boleh memahami maklumat yang menunjukkan sifat optik, seperti warna. Maklumat ini sudah cukup untuk memberi kami model lengkap, membolehkan kami mencipta semula kesan visual yang realistik bahan ini.

Seperti yang ditunjukkan dalam gambar, dengan menguasai ciri-ciri struktur kedua-dua fabrik, kami berjaya memulihkan kesan visual baldu dan sutera.

Kami melakukan banyak penyelidikan tentang sebenarnya mempromosikan model ini dan memikirkan tentang aplikasi dunia sebenar yang boleh dimiliki oleh model ini. Kami kini percaya bahawa alat ini akan menjadikan prototaip digital lebih mudah untuk pereka industri, pereka tekstil, dll., memberikan pereka keupayaan untuk mensimulasikan penampilan fabrik tenunan sebenar.

Dalam alat tenun industri, benang sebenar digunakan pada gelendong dan selepas menambah corak tenunan, alat tenun industri akan menghasilkan fabrik seperti yang ditunjukkan di bawah di sebelah kanan, dan The Ujian Turing visual moden yang ingin kami buat pada asasnya ialah saluran paip digital sepenuhnya yang menggunakan gabungan imbasan CT dan foto untuk mencapai kesan yang sama seperti mesin tenun industri.

Kesan visual maya tetapi realistik ini membolehkan pereka membuat keputusan penting tanpa benar-benar mengeluarkan fabrik.

Kami sebenarnya mencipta model berdimensi rendah dan 22 parameter yang lebih intuitif mewakili struktur bahan Pereka akan memperoleh kuasa yang lebih besar jika mereka boleh menggunakan alat ini.

Dan 22 parameter ini akan membawa kepada topik kedua yang akan saya bincangkan, grafik songsang.

2 Graf songsang

Masalah kedua yang kami hadapi ialah, selepas memiliki model ini, bagaimana untuk menyesuaikan diri dengan model ini? Ini juga merupakan topik penting dalam penyelidikan grafik komputer.

Mari kita mulakan dengan hubungan antara cahaya dan permukaan objek.

Apabila cahaya bertemu dengan permukaan logam, cahaya akan dipantulkan. Bagi bahan-bahan lain, seperti kulit, makanan, fabrik, dan lain-lain, apabila cahaya bertemu dengan permukaannya, cahaya akan memasuki permukaan dan berinteraksi dengan objek pada tahap tertentu. Ini dipanggil serakan bawah permukaan.

Seperti yang ditunjukkan dalam gambar di atas, cara menilai sama ada sushi itu sedap adalah dengan menilai kilauan dan kesegaran penampilannya. Oleh itu, jika anda ingin mensimulasikan kesan visual objek tertentu, anda perlu memahami apa yang berlaku apabila cahaya mengenai permukaan objek tersebut.

Kapsyen: Saluran paip hujung ke hujung

Di bawah keadaan ideal , kami mempunyai beberapa jenis perwakilan yang dipelajari Selepas mengambil foto, kami boleh mengenal pasti sifat bahan dan parameter bahan yang ada pada objek dalam foto Kami juga boleh mengetahui tiga parameter yang berkaitan dengan serakan yang berbeza: Sejauh mana ia bergerak dalam medium, bagaimana banyak yang tersebar, apakah albedo bahan apabila ia bertaburan, dsb.

Dan kami kini mempunyai pemapar berasaskan fizikal yang sangat baik yang boleh mensimulasikan keseluruhan proses fizikal cahaya yang mengenai permukaan objek, dan saya fikir kami sudah mempunyai keupayaan untuk mencipta jenis ini. saluran paip.

Jika kita menggabungkan pemapar berasaskan fizikal dan perwakilan yang dipelajari untuk mendapatkan saluran paip hujung ke hujung ini, dan kemudian memadankan imej output dengan imej input dan meminimumkan kerugian, maka kita boleh mendapatkan Sifat bahan ( iaitu bahan π di tengah-tengah gambar di atas).

Untuk melakukan ini dengan berkesan, kita perlu menggabungkan pembelajaran dan fizik dengan berkesan, membalikkan proses pemaparan fizikal dunia dan bekerja keras untuk mendapatkan parameter songsang.

Walau bagaimanapun, pemulihan bentuk dan bahan adalah sangat sukar Proses di atas memerlukan enjin rendering R boleh dibezakan isu ini.

Untuk dapat memulihkan kesan visual produk seperti adegan dalam filem, kita perlu mempunyai saluran paip pemaparan yang boleh dibezakan, yang bermaksud kita perlu dapat bezakan tentang Kehilangan atribut yang ingin anda pulihkan . Berikut adalah contoh memulihkan bahan dan geometri, kita boleh menggunakan kaedah rantai untuk membuat sampel pada tepi permukaan untuk mendapatkan maklumat yang kita perlukan.

Kemudian kita boleh menghasilkan satu proses untuk memulihkan kesan visual objek seperti yang ditunjukkan di bawah. Mula-mula, kita boleh menggunakan telefon mudah alih untuk mengambil satu siri gambar objek yang ingin kita pulihkan, kemudian mulakan gambar, mengoptimumkan bahan dan bentuk, dan kemudian mengoptimumkan semula melalui pemaparan yang boleh dibezakan Akhirnya, objek itu boleh mempersembahkan simulasi yang realistik kesan. Boleh digunakan dalam realiti tambahan/realiti maya dan aplikasi lain.

Dalam simulasi visual, penyerakan bawah permukaan ialah fenomena yang sangat penting Gambar di bawah ialah karya berbilang artis yang dipanggil Kiub ( segi empat sama). Ini sebenarnya adalah segi empat sama dengan panjang sisi 2.5cm diperbuat daripada 98 jenis makanan. Permukaan setiap 98 makanan adalah berbeza dan kompleks, yang menimbulkan minat kami dalam penerokaan.

Oleh kerana permukaan makanan adalah sangat kompleks, penyerakan bawah permukaan mesti diambil kira semasa memulihkan sifat bahan mentah dalam ini Seperti yang dibentangkan dalam kertas kerja kami yang kemudian, kami telah membangunkan saluran paip pembezaan sepenuhnya. Apa yang kami gunakan saluran paip ini untuk memulihkan adalah sifat bahan yang berpusat pada penyerakan bawah permukaan. Akhirnya, kami memulihkan bahan dan bentuk yang berbeza bagi dua buah, dan berjaya mempersembahkan kesan visual kiwi dan kiub buah naga.

Ilustrasi: Proses memulihkan kiwi dan kiub buah naga

Dalam penyelidikan di atas, kami menggunakan gabungan pembelajaran dan fizik, dan meringkaskan tiga perkara penting berikut.

• Fahami fenomena visual;
• Sebelum memulihkan kesan visual objek, mula-mula ramalkan kesan visual yang ditunjukkannya; >Kawalan pengguna.

3

Penemuan visual berskala dunia

Saya masih ingat protagonis berjalan di atas jalan dalam filem Di tempat kejadian, dia melihat produk di tingkap, dan kemudian antara muka visual memberitahu dia semua maklumat tentang objek yang dia lihat?

Ini ialah

Pengecaman objek berbutir halus

(Pengecaman objek berbutir halus), yang merupakan bidang penyelidikan besar dalam penglihatan komputer ialah Ia telah digunakan dalam banyak industri seperti pengenalan produk dan hartanah.

Kapsyen: Maklumat yang tepat diberikan oleh pengecaman objek yang halus

Sebagai contoh, dalam gambar ini, pengecaman objek berbutir halus boleh memberitahu bahawa orang ini membawa x ini tidak merujuk kepada beg tangan (kebanyakan orang boleh memberitahu ini), tetapi di sini x merujuk kepada jenama beg tangan tertentu. pengetahuan yang tepat seperti ini tidak dapat dicapai oleh kebanyakan orang biasa.

Pada asasnya, kami boleh menyediakan maklumat peringkat pakar melalui pengecaman visual, atau malah maklumat peringkat pakar dalam lebih daripada satu bidang, dan saya fikir penyelidikan dalam bidang ini sangat menarik.

Gambar ini menunjukkan dapur unggun api mungkin sesetengah orang tidak dapat menentukan tujuan objek ini hanya dengan melihat

, tetapi secara terperinci Pengecaman objek berbutir bukan sahaja boleh memberitahu kami bahawa ini adalah dapur unggun api, tetapi juga memberikan maklumat tentang nama karya seni, tempat ia boleh dibeli, dan artis yang mereka bentuknya.

Kapsyen: IKEA APP

Kami berada di IKEA Kaedah penggunaan ini telah dilancarkan dalam APP realiti tambahan. Kami menyepadukan pengecaman visual dan pemaparan maya dalam APP realiti tambahan Sejak itu, idea-idea masa lalu kami tentang antara muka visual mula menjadi kenyataan secara beransur-ansur.

Nota gambar: Antara muka Meta’s shopping AI GrokNet

Tu's penyelidikan sebenarnya adalah sebahagian daripada AI beli-belah Meta “GrokNet”. Slogan GrokNet adalah untuk menjadikan setiap imej membawa orang ramai untuk membeli-belah (boleh beli-belah), dan matlamat pasukan penyelidik saya dan saya adalah untuk menjadikan setiap imej boleh difahami (boleh difahami).

Apa yang saya katakan di atas adalah beberapa penyelidikan yang agak asas, dan apa yang kami lakukan sekarang ialah mengumpul maklumat visual pada skala yang belum pernah berlaku sebelum ini, termasuk foto, video dan juga imejan Satelit. Bilangan satelit kami telah berkembang dengan ketara selama bertahun-tahun. Kini terdapat kira-kira 1,500 satelit ini memuat naik 100 terabait data setiap hari Jika kita dapat memahami imej satelit, maka kita boleh memahami hala tuju seluruh dunia. dan Mengetahui apa yang berlaku di dunia ialah hala tuju penyelidikan yang sangat menarik.

Ilustrasi: Bolehkah kita memahami gambar dari skala dunia?

Jika kita dapat memahami gambaran dari peringkat dunia, maka kita boleh menjawab soalan-soalan ini pada gambar: Bagaimana kita harus hidup? Apa yang kita pakai? nak makan apa? Bagaimanakah tingkah laku kita berubah dari semasa ke semasa? Bagaimanakah Bumi berubah dari semasa ke semasa?

Jadi kami mula menangani soalan ini dengan ahli antropologi dan ahli sosiologi, yang terpesona dengan soalan-soalan ini, ia tidak mempunyai alat yang ampuh untuk menjalankan penyelidikan. Salah seorang ahli antropologi yang bekerja dengan kami sangat berminat dengan cara pakaian berubah di seluruh dunia, dan kami mendapati bahawa soalan ini mempunyai banyak kaitan.

Mengapa orang di kawasan yang berbeza di bumi berpakaian berbeza? Kami berpendapat terdapat beberapa sebab:

• Cuaca ialah sebab yang sangat penting Kami berpakaian berbeza daripada orang di California pada musim panas kerana cuaca di sini lebih sejuk daripada di California ;
• Mengambil bahagian dalam pesta atau acara sukan, pelbagai aktiviti atau majlis juga memerlukan orang ramai memakai pakaian tertentu; berbeza di bahagian dunia yang berlainan;
• Arah aliran fesyen juga merupakan faktor yang mempengaruhi.
• Jadi kami mula meneliti masalah ini dan mula menganalisis satu set kira-kira 8 juta imej orang dari seluruh dunia. Kami mencipta algoritma pengecaman mudah untuk mengenal pasti pakaian yang dipakai orang, yang merangkumi 12 atribut.

Dan apakah yang kami temui daripada penyelidikan ini?

Dari analisis kami, kami dapat melihat corak tertentu Contohnya, orang di sudut kanan atas mempunyai kecenderungan untuk memakai pakaian hijau, manakala mereka di sudut kiri bawah Orang ramai cenderung memakai pakaian merah.

Melalui analisis data besar, kami mendapati bahawa beberapa data adalah selaras dengan pratetap kami, contohnya, cuaca memang mempengaruhi pakaian orang ramai memilih untuk memakai pakaian tebal pada musim sejuk dan memakai pakaian sejuk pada musim panas , ini adalah logik; tetapi dalam beberapa aspek, terdapat beberapa fenomena data yang pelik, seperti yang ditunjukkan dalam rajah di bawah, di Chicago sejak beberapa tahun yang lalu, terdapat beberapa perkara yang menjadi kemuncak orang memilih untuk memakai hijau.

Titik masa ini semuanya pada bulan Mac setiap tahun Selepas siasatan, ternyata titik masa ini ialah Hari St. Patrick di Chicago:

<.>

Ini adalah perayaan tempatan yang sangat penting, dan orang di Chicago akan memilih untuk memakai pakaian hijau pada hari ini. Jika anda bukan penduduk tempatan, anda mungkin tidak tahu tentang acara kebudayaan ini.

Ilustrasi: Aktiviti kebudayaan yang dihargai di seluruh dunia, orang ramai akan memakai warna pakaian yang berbeza untuk aktiviti ini

Dengan mengenal pasti perubahan pakaian orang ramai dalam data besar, kami dapat memahami aktiviti budaya/politik tempatan dan dengan itu memahami budaya serantau yang berbeza di seluruh dunia. Di atas adalah bagaimana kita memahami maksud maklumat gambar dari perspektif dunia.

Pautan video asal: https://www.youtube.com/watch?v=kaQSc4iFaxc

Atas ialah kandungan terperinci Kavita Bala, Dekan Cornell School of Computing: Apakah itu "Metaverse"? Mata Tuhan mungkin dilahirkan melalui AI. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!