Generasi kedua orang digital Meta ada di sini! Ucapkan selamat tinggal kepada set kepala VR, hanya leret dengan iPhone

Manusia digital realistik 2.0 Meta telah berkembang semula dan kini boleh dijana dengan iPhone, cuma keluarkan telefon anda dan imbasnya!

Seawal Mac 2019, Facebook telah menunjukkan imej manusia digital generasi pertama (Codec Avatar 1.0) pada acara tersebut. Generasi pertama manusia digital dijana menggunakan pelbagai rangkaian saraf dan pelantar tangkapan khusus dengan 132 kamera.

Setelah dijana, 5 kamera pada peranti set kepala VR. Setiap mata menyediakan dua pandangan dalaman dan tiga pandangan luaran di bawah muka. Seperti di bawah.

Sejak itu, Facebook terus menambah baik realisme avatar ini, seperti hanya memerlukan mikrofon dan bola mata Dengan teknologi penjejakan, anda boleh mendapatkan imej yang lebih realistik. Ia akhirnya berubah menjadi Codec Avatar versi 2.0 pada Ogos 2020. Peningkatan terbesar versi 2.0 berbanding versi 1.0 ialah kamera tidak perlu lagi mengimbas dan menjejak wajah, tetapi hanya perlu menjejaki pergerakan mata.

Rangkaian saraf baharu menggabungkan data penjejakan mata daripada set kepala VR dengan suapan audio daripada mikrofon untuk membuat kesimpulan kemungkinan penggunaan ekspresi muka. Model bunyi dan data model pergerakan mata dimasukkan semula kepada model hibrid, dan kemudian imej Avatar dikeluarkan oleh pemapar selepas pengiraan dan pemprosesan oleh model gabungan.

Pada bulan Mei tahun ini, pasukan seterusnya mengumumkan bahawa versi 2.0 Avatar telah mencapai sepenuhnya Kesan "benar-benar realistik". "Saya akan katakan salah satu cabaran besar dalam dekad yang akan datang ialah sama ada kita boleh mencapai interaksi Avatar jauh yang tidak dapat dibezakan daripada interaksi bersemuka," kata Sheikh, salah seorang ketua projek.

Lihat perbandingan di atas, a ialah foto sebenar, e ialah rendering terakhir Orang maya nampaknya tak berapa nak bermegah-megah? Jangan risau, di atas adalah hasil perbandingan dalam eksperimen Dalam senario aplikasi sebenar, imej semasa manusia maya Meta adalah seperti ini.

Malah imej "paling realistik" di hujung kanan masih merupakan imej kartun. Ini jauh dari kebenaran. "Realistis sepenuhnya" mungkin masih agak jauh, tetapi Meta bercakap tentang sepuluh tahun, melihat imej dalam demonstrasi, masih banyak harapan untuk mencapai matlamat ini.

Tambahan pula, kemajuan teknologi manusia maya bukan sahaja terpancar ke arah realisme. Sebagai contoh, tanggalkan set kepala VR?

Sebelum ini, menjana avatar Codec yang berasingan memerlukan peranti tangkapan khas yang dipanggil "MUGSY", yang mempunyai 171 kamera resolusi tinggi gambar di atas (rahsia takut berundur).

Meta kini berkata, anda tidak perlu membawa benda ini, cuma ada iPhone! Selagi telefon pintar dengan penderia kedalaman menghadap ke hadapan (seperti iPhone dengan fungsi FaceID) boleh mengimbas terus (setepatnya, berpuluh-puluh imbasan), avatar manusia maya yang realistik boleh dihasilkan.

Mula-mula pastikan wajah anda tanpa ekspresi, imbas sekali, dan kemudian buat pelbagai ekspresi berbeza, sehingga 65 ekspresi berbeza disokong.

Meta mengatakan bahawa ia mengambil masa kira-kira 3-4 minit secara purata untuk menyelesaikan pengimbasan ekspresi muka dengan telefon bimbit. Sudah tentu, ini memerlukan sokongan kuasa pengkomputeran Avatar manusia maya realistik yang dihasilkan mengambil masa kira-kira 6 jam pada mesin dengan empat GPU mewah. Sudah tentu, jika teknologi ini digunakan dalam produk, pengiraan ini akan diserahkan kepada GPU awan, tanpa sumber pengkomputeran pengguna sendiri.

Jadi, kenapa sesuatu yang sebelum ini memerlukan 100 kamera boleh dilakukan dengan hanya satu telefon bimbit? Rahsianya ialah model umum yang dipanggil Hypernetwork. Ini adalah rangkaian saraf yang menjana berat rangkaian saraf yang lain. Dalam contoh di atas, ia adalah untuk menjana Avatar Codec untuk orang tertentu.

Model ini dilatih dengan mengimbas 255 muka berbeza, menggunakan peranti tangkapan lanjutan, sama seperti MUGSY, tetapi dengan hanya 90 kamera.

Walaupun penyelidik lain telah menunjukkan potret yang dihasilkan dengan mengimbas menggunakan telefon pintar, dan Meta menyatakan bahawa hasil yang dihasilkan adalah tahap SOTA.

Namun, sistem semasa masih tidak dapat mengatasi cermin mata dan rambut panjang. Dan ia hanya boleh pergi ke kepala, bukan bahagian badan yang lain.

Sudah tentu, Meta masih jauh lagi sebelum mencapai tahap kesetiaan ini. Potret Meta kini mempunyai gaya kartun. Dan rasa realisme itu perlahan-lahan berkurangan dari semasa ke semasa. Kini imej ini mungkin lebih sesuai untuk orang yang menggunakan Quest 2 untuk bermain Horizon Worlds.

Walau bagaimanapun, Codec Avatar mungkin akhirnya menjadi pilihan yang berasingan dan bukannya sekarang Ini naik taraf gaya kartun. Ketua Pegawai Eksekutif Meta Zuckerberg menggambarkan masa depan seperti ini: Anda boleh menggunakan potret ekspresiistik untuk bermain permainan biasa, dan menggunakan potret yang lebih realistik untuk mengambil bahagian dalam mesyuarat kerja.

Pada April tahun ini, Yaser Sheikh, yang bertanggungjawab ke atas pasukan Codec Avatar, berkata, "Adalah mustahil untuk meramalkan berapa lama masa yang diperlukan untuk Codec Avatar dimasukkan ke dalam gunakan." Bagaimanapun, beliau menjelaskan bahawa, Beliau percaya bahawa projek itu telah mencapai kemajuan yang besar.

Atas ialah kandungan terperinci Generasi kedua orang digital Meta ada di sini! Ucapkan selamat tinggal kepada set kepala VR, hanya leret dengan iPhone. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!