Daripada 'Hey Siri' kepada Metaverse, sejauh manakah Apple perlu pergi?

Dalam gelombang sains dan teknologi semasa, konsep Metaverse menarik perhatian dunia seperti bintang baru yang mempesonakan dengan imaginasi dan kemungkinan yang tidak terhingga. Potensi pembangunan yang besar telah menarik gelombang syarikat, satu demi satu, untuk melancarkan caj ke dalam Metaverse.

Di antara syarikat ini, Apple adalah syarikat yang mempunyai harapan yang paling tinggi. Pada 6 Jun, selepas tujuh tahun penyediaan, Apple akhirnya membuat peranti paparan yang dipasang di kepala Vision Pro secara rasminya diperkenalkan di WWDC 2023.

Dalam satu segi, sejauh mana Apple boleh pergi dalam bidang peranti XR mewakili sejauh mana sempadan teknologi semasa boleh pergi. Namun, jika dilihat dari situasi semasa, walaupun produk Apple menunjukkan prestasi yang baik dalam banyak aspek, ia masih jauh dari jangkaan orang ramai. Daripada banyak reka bentuk dan penunjuk, kita dapat melihat kesesakan teknikal semasa dan beberapa kompromi yang perlu dibuat oleh Apple. Lebih penting lagi, harga akhir Vision Pro adalah setinggi AS$3,499 (kira-kira RMB 24,860 harga ini bermakna produk ini mesti menjadi "mainan" khusus dan tidak boleh terbang ke rumah orang biasa.

Harga saham epal

Jadi, sejauh manakah kita dari dunia metaverse yang ideal, dan apakah masalah dan cabaran teknikal yang masih perlu diselesaikan? Untuk menjawab soalan ini, Dataman menemu bual Ketua Pegawai Eksekutif Cocos Lin Shun, pengasas dan Ketua Pegawai Eksekutif DataMesh Li Jie, Ketua Pegawai Eksekutif Youli Technology Zhang Xuebing, CTO Terlaris Yuntian Liang Feng, Timbalan Pengurus Besar Pusat R&D Teknologi AsiaInfo Chen Guo, Ketua Pegawai Produk Mo Universe Lin Yu dan ramai pakar industri lain memahami arah aliran pembangunan pelbagai teknologi utama dalam Metaverse. Seterusnya, kami akan menggabungkan produk paparan pelekap kepala XR terbaharu Apple untuk meneroka secara mendalam arah aliran pembangunan terkini dan cabaran sedia ada dalam empat bidang teknologi utama paparan dekat mata, pemaparan pengkomputeran + rangkaian persendirian 5G, interaksi persepsi dan pengeluaran kandungan.

Paparan mata dekat: Laluan teknikal panel paparan jelas dan pandu gelombang optik masih belum menyentuh "pintu"

Paparan mata dekat adalah pintu pertama dunia metaverse Berdasarkan produk yang dikeluarkan oleh Apple kali ini, Vision Pronya dilengkapi dengan 12 kamera dan skrin Micro OLED dengan 23 juta piksel, diperuntukkan untuk setiap mata. .

Imej produk Apple Vision Pro

Jadi, apakah teknologi utama untuk keseluruhan paparan dekat mata, dan apakah kemajuan semasa industri? Dalam merealisasikan Metaverse, teknologi paparan dekat mata adalah kunci kepada kejayaan perkakasan. Ia terutamanya terdiri daripada dua bahagian: panel paparan dan sistem optik (terutamanya pandu gelombang optik kedua-dua laluan teknikal masih mempunyai banyak kesukaran teknikal yang perlu diatasi).

1 Panel paparan menentukan resolusi, ketepuan warna dan kadar penyegaran MicroLED mempunyai harapan yang tinggi.

Panel paparan ialah bahagian penting dalam teknologi paparan dekat mata, yang secara langsung mempengaruhi pengalaman visual pengguna dalam Metaverse. Penunjuk teknikal utama panel paparan termasuk resolusi, ketepuan warna dan kadar penyegaran Penambahbaikan penunjuk ini boleh membawa pengguna pengalaman visual yang lebih jelas, kaya dan lancar.

Resolusi ialah salah satu penunjuk teras panel paparan, yang secara langsung menentukan keupayaan untuk memaparkan butiran Metaverse. Pada peringkat ini, penambahbaikan resolusi panel menghadapi kesesakan teknikal Bagaimana untuk meningkatkan resolusinya sambil memastikan saiz panel dan penggunaan kuasa adalah isu penting yang perlu diselesaikan dalam teknologi panel paparan.

Tepu warna ialah satu lagi penunjuk penting, yang mempengaruhi keupayaan paparan warna Metaverse. Pada masa ini, walaupun pelbagai teknologi paparan telah mencapai hasil yang baik dalam ekspresi warna, masih terdapat jarak tertentu untuk mencapai warna dunia sebenar dalam metaverse.

Kadar muat semula mempengaruhi pengalaman visual dinamik pengguna, dan kadar segar semula yang tinggi boleh memberikan kesan animasi yang lebih lancar. Walau bagaimanapun, meningkatkan kadar penyegaran akan meningkatkan tekanan pada pengkomputeran dan penggunaan kuasa Cara mengurangkan penggunaan kuasa sambil meningkatkan kadar penyegaran adalah satu lagi cabaran teknikal utama.

Dalam bidang panel paparan, teknologi utama semasa termasuk paparan kristal cecair (LCD), diod pemancar cahaya organik (OLED) dan mikro-LED (Micro-LED). Walaupun teknologi LCD agak matang dan kos rendah, ia adalah kekurangan berbanding dengan teknologi lain dari segi ketepuan warna, kontras dan kadar penyegaran, manakala paparan OLED perlu menyelesaikan isu jangka hayat dan kos.

Kemajuan pembangunan panel paparan

Dalam beberapa tahun kebelakangan ini, teknologi paparan MicroLED telah mendapat perhatian meluas daripada industri untuk prestasi cemerlangnya. Ia menggunakan LED tahap mikron sebagai piksel, yang bukan sahaja memberikan resolusi yang lebih tinggi, gamut warna yang lebih luas dan kadar penyegaran yang lebih tinggi, tetapi juga mempunyai penggunaan kuasa yang lebih rendah dan hayat yang lebih lama. Walau bagaimanapun, pembuatan panel MicroLED adalah sukar dan mahal, terutamanya apabila saiz piksel kecil dan ketumpatan piksel tinggi Bagaimana untuk mencapai pengeluaran berskala besar, kecekapan tinggi masih menjadi masalah teknikal utama yang perlu diselesaikan. Kali ini Vision Pro dilengkapi dengan skrin Micro OLED, tetapi untuk harga hampir 25,000, saya percaya skrin Micro OLED ini telah banyak "menyumbang".

2. Kematangan teknologi pandu gelombang optik adalah lebih rendah daripada panel paparan, dan laluan teknikal serta masa penembusannya tidak pasti.

Sistem optik, terutamanya pandu gelombang optik, adalah sama penting untuk teknologi paparan dekat mata. Teras teknologi pandu gelombang optik adalah untuk membimbing cahaya ke retina pengguna, dengan itu menghasilkan imej maya dalam bidang pandangan pengguna. Medan pandangan ialah penunjuk penting untuk mengukur kualiti pandu gelombang optik, yang mempengaruhi julat visual pengguna dalam metaverse.

Dalam peranti realiti tambahan (AR) dan realiti maya (VR), panel paparan dan pandu gelombang optik sering disepadukan rapat. Panel paparan menjana imej, yang kemudiannya dimasukkan ke dalam pandu gelombang optik. Tugas pandu gelombang optik adalah untuk membimbing imej ini ke mata pengguna, mungkin membuat pelarasan untuk meningkatkan pengalaman visual, seperti meluaskan medan pandangan atau melaraskan fokus imej. Proses ini boleh dibayangkan seperti teater filem: panel paparan adalah seperti projektor, yang menghasilkan imej dan pandu gelombang optik adalah seperti skrin tayangan, yang menerima imej yang dihasilkan oleh projektor dan membentangkannya kepada penonton (dalam; kes ini, penonton adalah mata pengguna).

Teknologi pandu gelombang optik boleh dibahagikan kepada beberapa jenis yang berbeza, termasuk pandu gelombang optik difraksi, pandu gelombang optik biasan dan pandu gelombang optik holografik. Antaranya, pandu gelombang optik pembelauan adalah yang paling biasa digunakan pada masa ini. Ia menyebarkan cahaya masuk ke dalam pelbagai sudut melalui parut mikro, dan kemudian menggunakan pantulan total untuk membimbing sinar ini ke retina pengguna. Teknologi ini boleh memberikan bidang pandangan yang lebih luas dan kualiti pengimejan yang lebih tinggi, tetapi terdapat masalah dari segi kecekapan cahaya, penyebaran dan proses pembuatan yang kompleks.

Dari segi kecekapan cahaya, masalah dengan pandu gelombang optik difraktif ialah hanya sebahagian daripada cahaya yang boleh digunakan dengan berkesan, dan kebanyakan cahaya akan bertaburan, mengakibatkan pembaziran tenaga. Dari segi penyebaran, disebabkan oleh sudut pembelauan cahaya, cahaya warna yang berbeza akan menghasilkan penyebaran selepas melalui parut, menjejaskan ketepatan warna pengimejan. Ini sudah pasti masalah besar untuk aplikasi yang mengejar tahap realisme tinggi seperti Metaverse.

Selain itu, kerumitan proses pembuatan dicerminkan dalam keperluan yang sangat tinggi untuk ketepatan. Kisi mikro untuk pandu gelombang optik difraktif perlu tepat pada tahap nanometer, yang membawa kesukaran teknikal yang sangat tinggi dan tekanan kos semasa proses pengeluaran. Untuk mengatasi masalah ini, penyelidik sedang mengejar teknologi pandu gelombang optik baharu, seperti pandu gelombang optik biasan dan pandu gelombang optik holografik. Teknologi ini membimbing cahaya dengan cara yang berbeza, yang berpotensi menyediakan penyelesaian baharu dalam mengatasi masalah pandu gelombang cahaya difraktif. Sebagai contoh, pandu gelombang optik holografik menggunakan imej holografik untuk merakam dan menghasilkan semula muka gelombang cahaya, yang boleh memberikan kelebihan dalam mengurangkan penyebaran dan meningkatkan kecekapan optik.

Namun, teknologi pandu gelombang optik baharu juga mempunyai cabarannya yang tersendiri. Sebagai contoh, walaupun pandu gelombang optik biasan lebih unggul daripada pandu gelombang optik difraktif dalam kecekapan optik, bidang pandangan mereka biasanya lebih kecil manakala pandu gelombang optik holografik menghadapi masalah bagaimana untuk mencapai pembuatan imej holografik berskala besar dan berkualiti tinggi.

Secara keseluruhannya, walaupun masih ada ruang untuk penambahbaikan dalam teknologi panel paparan, pelan hala tuju teknikalnya agak pasti, dan penambahbaikan selanjutnya boleh dijangka dalam beberapa tahun akan datang. Berbanding dengan teknologi panel paparan, teknologi pandu gelombang optik adalah kurang matang, dan laluan teknikal serta masa kejayaannya masih tidak pasti. Walaupun prinsip asas pandu gelombang optik telah difahami, cara mereka bentuk dan mengeluarkan pandu gelombang optik yang cekap, berkualiti tinggi dan kos rendah dalam aplikasi praktikal masih menjadi cabaran teknikal.

Perenderan pengiraan: Bolehkah GPU + pengkomputeran awan + pengkomputeran tepi + 5G menembusi kesesakan kuasa pengkomputeran?

Metaverse memerlukan pembinaan persekitaran maya yang mengasyikkan yang disambungkan dengan lancar ke dunia nyata, dan pemaparan pengiraan merupakan salah satu teknologi utama untuk mencapai matlamat ini. Tugas pemaparan pengiraan adalah untuk menukar model tiga dimensi dalam dunia maya dan bahannya, pencahayaan dan atribut lain kepada imej dua dimensi yang dilihat oleh pengguna akhir. Proses ini memerlukan banyak pengiraan, termasuk pengiraan geometri, pengesanan sinar, pengiraan pencahayaan, pemaparan bahan, pasca pemprosesan, dsb.

Untuk meningkatkan kuasa pengkomputeran peranti, Vision Pro Apple menggunakan reka bentuk dwi-cip, termasuk cip M2 peringkat Mac dan cip pemprosesan sensor masa nyata R1. Antaranya, cip R1 bertanggungjawab terutamanya untuk penghantaran dan pemprosesan isyarat sensor.

Apple boleh mereka bentuk cip khas untuk peranti XRnya sendiri, tetapi melihat keseluruhan industri, berapa banyak kuasa pengkomputeran yang diperlukan untuk mencapai hasil yang diinginkan? Seterusnya kita akan membincangkan isu ini dengan lebih mendalam.

1. Untuk merealisasikan adegan metaverse yang ideal, setiap peranti XR mesti mempunyai sekurang-kurangnya satu GPU NVIDIA A100.

Keadaan yang ideal adalah untuk mencapai pemaparan pengesanan masa nyata, resolusi tinggi, kadar bingkai tinggi, sinar penuh, yang memerlukan kuasa pengkomputeran yang sangat tinggi. Keperluan kuasa pengkomputeran khusus bergantung pada banyak faktor, seperti kerumitan pemaparan, resolusi, kadar bingkai, kualiti imej, dsb. Pada masa ini terdapat beberapa teknologi untuk mengurangkan jumlah pengiraan Yang biasa ialah teknologi pemaparan titik pandang Teknologi ini menggunakan ciri visual mata manusia untuk hanya melakukan pemaparan berketepatan tinggi pada titik pandangan dan kawasan sekitarnya, sambil berprestasi rendah. rendering ketepatan di kawasan lain, mengurangkan kerumitan tugas rendering dengan berkesan. Vision Pro yang dikeluarkan oleh Apple kali ini menggunakan teknologi pemaparan berfoveated dinamik untuk menyampaikan kualiti imej maksimum dengan tepat kepada setiap bingkai yang dipandang mata pengguna.

Pengenalan Produk Apple Vision Pro

Secara umumnya, permintaan Metaverse untuk pemaparan pengiraan jauh melebihi keupayaan teknologi sedia ada. Terutama pada peranti mudah alih, lebih sukar untuk menyediakan kuasa pengkomputeran disebabkan oleh isu seperti penggunaan kuasa dan pelesapan haba. Pemprosesan data 3D bukan sahaja memerlukan sejumlah besar sumber pengkomputeran, tetapi juga memerlukan maklum balas masa nyata atau hampir masa nyata. Ini meletakkan permintaan yang sangat tinggi pada kuasa pengkomputeran dan kependaman. Peranti pengkomputeran sedia ada, termasuk GPU dan cip AI tercanggih, belum dapat memenuhi keperluan ini sepenuhnya.

Untuk menerangkan dengan lebih jelas "jurang" antara bekalan kuasa pengkomputeran dan permintaan kuasa pengkomputeran dalam Metaverse, mari kita analisa bekalan dan permintaan kuasa pengkomputeran dengan senario biasa.

Andaikan kita ingin mencapai pemaparan pengesanan sinar penuh dengan resolusi 4K (iaitu 3840x2160 piksel), 60 bingkai/saat dan penjejakan 100 sinar setiap piksel Memproses satu sinar memerlukan kira-kira 500 operasi titik terapung ( Data sebenar mungkin lebih tinggi).

Kemudian kuasa pengkomputeran yang diperlukan = 3840 piksel x 2160 piksel x 60 bingkai/saat x 100 sinar/piksel x 500 operasi titik terapung/sinar = 4,976,640,000,000 operasi titik terapung/saat = 25 TFLOPS.

Perlu diambil perhatian bahawa ini adalah anggaran yang sangat kasar, dan kuasa pengkomputeran sebenar yang diperlukan mungkin lebih tinggi, kerana dalam pemaparan penjejakan sinar, sebagai tambahan kepada pengesanan sinar, terdapat banyak jenis pengiraan lain, seperti lorekan dan tekstur . Persampelan, transformasi geometri, dsb.

Kuasa pengkomputeran puncak NVIDIA cip A100 ialah 19.5TFLOPS Harga NVIDIA A100 40G pada JD.com melebihi 60,000 yuan. Dalam erti kata lain, untuk mencapai kesan pemaparan adegan metaverse yang ideal, peranti memerlukan sekurang-kurangnya satu cip A100. Kos satu cip sahaja adalah lebih daripada 60,000 yuan, jadi harga peralatan XR akan lebih tinggi. Mengetepikan had teknikal yang lain, harga peranti ini cukup untuk menghalang kebanyakan pengguna.

Cip NVIDIA A100

Selain meningkatkan prestasi GPU tujuan umum, pengoptimuman perkakasan khusus + perisian khusus untuk pengesanan sinar nampaknya merupakan cara penting untuk meningkatkan prestasi pengkomputeran aplikasi Metaverse. Untuk aplikasi Metaverse, pengesanan sinar ialah tugas pengkomputeran yang penting, jadi perkakasan pengesanan sinar khusus boleh direka bentuk. Satu contoh ialah siri GPU RTX Nvidia, yang termasuk teras RT khusus untuk mempercepatkan pengiraan pengesanan sinar. Perkakasan jenis ini secara langsung boleh melaksanakan beberapa operasi intensif pengiraan pada peringkat perkakasan, seperti pengiraan titik persilangan antara cahaya dan objek di tempat kejadian, sekali gus meningkatkan kecekapan pengkomputeran. Pengoptimuman perisian pengesanan sinar termasuk algoritma pengisihan sinar yang lebih baik, struktur pembahagian ruang yang lebih cekap, dsb.

Pada masa ini, pengkomputeran dan pemaparan Metaverse tidak dapat dipisahkan daripada GPU, dan terdapat dua sumber utama kuasa pengkomputeran GPU, satu ialah GPU tempatan, dan satu lagi ialah GPU awan. GPU tempatan digunakan terutamanya untuk adegan yang memerlukan pemaparan masa nyata, seperti permainan dan peranti AR/VR. GPU dalam awan boleh digunakan untuk tugas pemaparan yang lebih kompleks, seperti kesan khas filem, visualisasi seni bina, dsb. Hasil pemaparan awan dihantar ke peranti pengguna melalui rangkaian.

Penyelesaian pemaparan pengiraan yang ideal mestilah sistem pemaparan hibrid yang menyepadukan sumber tempatan dan awan. Sistem ini seharusnya boleh membuat keputusan secara bijak sama ada untuk melaksanakan tugas pemaparan secara setempat atau dalam awan, dan cara memperuntukkan tugas berdasarkan faktor seperti sifat tugas, keadaan rangkaian, prestasi peranti, dsb. Selain itu, sistem ini juga harus menyokong pelbagai teknologi rendering, seperti pengesanan sinar, pencahayaan masa nyata, pencahayaan global, dll., supaya teknologi rendering yang sesuai boleh dipilih mengikut keperluan.

Untuk mencapai matlamat ini, penghantaran data berkelajuan tinggi perlu dicapai secara tempatan dan dalam awan (atau tepi). Jadi, berapa tinggi kelajuan internet yang diperlukan untuk memenuhi keperluan Metaverse?

2. 5G hampir tidak mencukupi, tetapi kemajuan pembinaan rangkaian 5G tidak seperti yang diharapkan.

Mari kita ambil keperluan kuasa pengkomputeran Metaverse biasa di atas sebagai contoh (resolusi 4K, 60 bingkai/saat, pemaparan pengesanan sinar penuh dengan 100 sinar dijejak setiap piksel) untuk melihat cara menggunakan awan (tepi) + Berapakah lebar jalur rangkaian diperlukan untuk pengkomputeran akhir dan penyelesaian rendering.

Jika kami memudahkan maklumat warna setiap piksel kepada 24 bit (8 bit merah, 8 bit hijau, 8 bit biru), untuk mengira lebar jalur rangkaian yang diperlukan:

3840 piksel * 2160 piksel * 24 bit/piksel * 60 bingkai/saat = 11,943,936,000 bit = 11.92Gbps.

Kadar data puncak rangkaian 5G secara teorinya boleh mencapai 20Gbps, tetapi ini adalah kelajuan puncak dalam persekitaran makmal yang ideal. Dalam penggunaan sebenar, pengguna biasanya boleh menjangkakan kelajuan antara 100Mbps dan 3Gbps, yang masih agak jauh daripada keperluan rangkaian Metaverse. Malah rangkaian 5G yang lebih baik hampir tidak boleh digunakan.

Perlu diingatkan bahawa walaupun di China, yang mempunyai stesen pangkalan 5G terbanyak di dunia, kemajuan pembinaan rangkaian 5G tidak begitu pantas. Mengikut pengiraan, jika anda ingin membina rangkaian 5G yang baik, sekurang-kurangnya 10 juta stesen pangkalan 5G diperlukan. Sehingga akhir Februari 2023, jumlah bilangan stesen pangkalan 5G di negara saya telah mencecah 2.384 juta, dan ia akan mengambil masa beberapa tahun untuk melebihi 10 juta. Dengan kata lain, dari segi pembinaan rangkaian, kami belum bersedia untuk Metaverse.

Jelas sekali, pada masa ini terdapat kesesakan dari segi kuasa pengkomputeran dan rangkaian. Jadi, bagaimana untuk memecahkan kesesakan ini? Untuk tujuan ini, Dataman menemu bual beberapa pakar industri.

Berkenaan soalan "Adakah GPU + pengkomputeran awan + pengkomputeran tepi adalah kunci emas untuk melegakan kesesakan kuasa pengkomputeran Metaverse?", Zhang Xuebing, Ketua Pegawai Eksekutif Unitech, percaya bahawa kerjasama tepi awan bukanlah cara yang baik untuk menyelesaikannya. masalah kuasa pengkomputeran, "Penyebaran awan hanya mengurangkan masalah pemaparan sebilangan kecil peranti terminal dalam tempoh masa tertentu dengan menumpukan logik pemaparan pada bahagian pelayan. Trend pembangunan peranti terminal ialah konfigurasi semakin tinggi dan lebih tinggi, dan kuasa pengkomputeran semakin kuat dan lebih kukuh Pengumpulan sumber pemaparan awan tidak cekap dari perspektif kos dan perspektif serentak, dan ia membazirkan kuasa pengkomputeran peranti tempatan hanya perlu menyelesaikan pemaparan tempatan kesesakan keupayaan untuk menyelesaikan pelbagai masalah konkurensi, manakala pemaparan awan + pengkomputeran tepi boleh menyelesaikan pelbagai masalah konkurensi + GPU, tetapi perlu menyelesaikan banyak masalah seperti penyelarasan pelayan, pengimbangan beban, jalur lebar rangkaian penstriman video, kesesakan pengkomputeran awan, dsb. Apabila kesesakan pemaparan peranti tempatan dipecahkan melalui algoritma pemaparan, semua pembinaan pemaparan awan akan menjadi perkara yang sudah berlalu .”

Zhang Xuebing memperkenalkan bahawa Unitech boleh menggunakan kuasa pengkomputeran tempatan untuk menyelesaikan masalah pemaparan jauh data 3D dalam talian yang besar melalui teknologi pemaparan penstriman asalnya yang dibangunkan di dalam negara, dan tidak memerlukan kad grafik mewah melalui pemaparan CPU, menerobos tahap tinggi kos pemaparan awan. dan kesesakan serentak data yang rendah, yang telah menyelesaikan pelbagai masalah yang tidak dapat diselesaikan di bawah logik pemaparan awan tradisional.

Liang Feng, CTO terlaris Yuntian, percaya, “Dalam era 5G, senario aplikasi yang muncul dengan interaksi masa nyata dan tindak balas pantas, seperti permainan awan dan Metaverse, telah menyaksikan pertumbuhan eksponen dalam permintaan untuk kuasa pengkomputeran, terutamanya penyepaduan dipercepatkan AI dan Metaverse Dan peralihan kuasa pengkomputeran secara beransur-ansur dari Ke B ke Ke C telah membawa ruang yang besar untuk pembangunan kuasa pengkomputeran jika kita ingin benar-benar merealisasikan aplikasi komersial berskala besar dan membawa pengguna kependaman rendah dan pengalaman yang mendalam, kuasa pengkomputeran semasa mesti dicapai. Dengan keupayaan pengkomputeran selari yang unik dan berkuasa, GPU secara beransur-ansur menjadi hala tuju penting untuk pasaran meneroka dan menyokong asas kuasa pengkomputeran senario aplikasi yang baru muncul. Menggabungkan pengkomputeran awan dan pengkomputeran tepi memberikan idea baharu untuk pengkomersialan berskala besar bagi aplikasi baru muncul Penyepaduan pengkomputeran dan rangkaian, penyepaduan awan dan rangkaian, dan penciptaan rangkaian kuasa pengkomputeran dengan liputan penuh menjadi trend pembangunan. industri. ”

Chen Guo, timbalan pengurus besar Pusat R&D Teknologi AsiaInfo, memegang pandangan yang sama Beliau percaya, “Jika kita ingin mencapai keadaan ideal metaverse, sumber pengkomputeran yang sedia ada adalah jauh dari mencukupi - rendering visual muktamad, nyata. Interaksi maya dan sebenar masa, penaakulan pintar yang tepat semuanya mengemukakan keperluan yang sangat tinggi untuk sumber pengkomputeran Kerjasama kuasa berbilang pengkomputeran "cloud-edge" akan memenuhi keperluan kuasa pengkomputeran Metaverse pada masa yang sama teknologi lain yang berkaitan juga akan menghapuskan kuasa pengkomputeran Metaverse Kunci kepada kesesakan - kuasa pengkomputeran GPU mempercepatkan pemaparan grafik, menyediakan keupayaan simulasi fizikal dan mempromosikan teknologi XR untuk memenuhi pengalaman mendalam yang diperlukan oleh teknologi AIGC yang menyediakan kecekapan tinggi , cara teknikal berketepatan tinggi dan kos rendah untuk membina adegan Metaverse , mendorong Metaverse mencapai pemodelan pantas "orang, tempat dan barangan" pembangunan teknologi WebGPU membolehkan aplikasi interaktif 3D yang benar-benar tinggi, yang akan meningkatkan prestasi grafik penyemak imbas dan menghapuskan keperluan untuk Metaverse masa hadapan Kesesakan prestasi aplikasi alam semesta di bahagian hadapan ”

Interaksi persepsi: Tangkapan dalaman ialah cara interaksi paling semula jadi dalam metaverse

Interaksi persepsi ialah satu lagi cabaran utama dalam membina metaverse. Untuk mencipta pengalaman yang benar-benar mengasyikkan, adalah perlu untuk memastikan bahawa pengguna boleh berinteraksi dengan metaverse secara semula jadi dan intuitif, yang memerlukan meliputi pelbagai dimensi deria seperti penglihatan, pendengaran dan sentuhan.

Melihat produk Apple Vision Pro, ia menggunakan gabungan interaksi suara tangan-mata + kaedah interaksi berbilang Eyesight. Perlu dinyatakan bahawa Vision Pro tidak dilengkapi dengan pemegang, yang sangat berbeza daripada produk XR sebelumnya.

Gambar demonstrasi produk Apple Vision Pro

Vision Pro dikendalikan melalui suara, penjejakan mata dan gerak isyarat Pengguna boleh menyemak imbas ikon aplikasi dengan melihatnya, ketik tangan mereka untuk memilih, leret untuk menatal atau mengeluarkan arahan suara Mereka juga boleh menggunakan papan kekunci maya untuk memasukkan teks .

Gambar demonstrasi produk Apple Vision Pro

Perlu diingatkan bahawa Vision Pro masih merupakan produk "masa hadapan" dan tidak akan dikeluarkan secara rasmi sehingga awal tahun depan. Oleh itu, apakah fungsi yang boleh dilaksanakan dalam video demonstrasi dan sejauh mana keberkesanannya perlu menunggu sehingga produk itu dilancarkan secara rasmi dan pengguna boleh mempunyai persepsi sebenar selepas mengalaminya.

Mengenai interaksi persepsi, Apple tidak mendedahkan banyak butiran teknikal. Seterusnya, kami menganalisis aspek teknikal teras interaksi persepsi daripada perspektif industri. Secara umumnya, kaedah interaksi persepsi peranti XR boleh dibahagikan kepada interaksi visual, interaksi pendengaran, interaksi sentuhan dan interaksi gerak isyarat.

Interaksi visual bergantung terutamanya pada teknologi realiti maya (VR) dan realiti tambahan (AR). Sudah ada peranti VR dan AR yang matang yang membolehkan pengguna bergerak dan memerhati dalam Metaverse daripada perspektif orang pertama. Walau bagaimanapun, peranti ini selalunya memerlukan pemakaian topi keledar, yang menimbulkan cabaran kepada keselesaan pengguna dan penggunaan jangka panjang. Di samping itu, cara menyediakan resolusi visual dan bidang pandangan yang mencukupi untuk menjadikan pengguna berasa semula jadi dan nyata seperti di dunia nyata juga merupakan cabaran teknikal yang penting.

Interaksi pendengaran bergantung pada teknologi audio 3D, termasuk audio spatial dan audio objek. Teknologi ini mencipta medan bunyi dengan kedalaman dan arah, membolehkan pengguna menentukan sumber dan jarak bunyi dengan tepat. Walau bagaimanapun, teknologi audio 3D semasa masih sukar untuk memberikan pengalaman mendengar sepenuhnya semula jadi, terutamanya dalam mensimulasikan persekitaran bunyi yang kompleks dan kesan fizikal bunyi.

Interaksi sentuhan adalah salah satu cabaran terbesar. Walaupun terdapat pelbagai peranti maklum balas sentuhan, seperti pemegang bergetar dan sut haptik, kekuatan dan ketepatan maklum balas peranti ini tidak dapat memenuhi pengalaman sentuhan dunia sebenar. Teknologi yang lebih maju, seperti rangsangan elektrik dan maklum balas sentuhan ultrasonik, sedang dibangunkan tetapi masih belum matang.

Berbanding dengan kaedah di atas, interaksi gerak isyarat, sebagai cara interaksi yang intuitif dan semula jadi, dianggap sebagai cara interaksi yang ideal dalam metaverse.

Terdapat dua pautan teras dalam interaksi gerak isyarat: tangkapan dan analisis Tangkapan merujuk kepada pengumpulan maklumat pergerakan tangan pengguna melalui pelbagai teknologi, manakala analisis memproses maklumat ini untuk mengenal pasti gerak isyarat dan pergerakan tertentu.

Teknologi tangkapan terbahagi terutamanya kepada tangkapan luaran dan tangkapan dalaman. Tangkapan luaran sering bergantung pada kamera atau penderia untuk merakam kedudukan dan pergerakan tangan, seperti yang berlaku dengan Kinect dan Leap Motion Microsoft. Tangkapan dalaman menggunakan peranti boleh pakai, yang biasanya dilengkapi dengan satu siri penderia, seperti pecutan, giroskop, magnetometer, dsb., yang boleh menangkap anjakan, putaran dan pecutan tangan dalam tiga dimensi spatial.

Boleh dikatakan tangkapan dalaman adalah cara interaksi yang paling ideal. Tangkapan Dalaman Oleh kerana penderia bersentuhan langsung dengan tangan, maklumat gerakan tangan boleh diperoleh dengan stabil dan tepat tidak kira dalam apa jua keadaan persekitaran atau cahaya yang berada di dalamnya. Selain itu, peranti tangkapan dalaman biasanya kecil dan mudah dipakai, membolehkan pengguna berinteraksi dengan gerak isyarat pada bila-bila masa dan di mana-mana sahaja. Kesukaran teknikal terbesar dalam tangkapan dalaman ialah ketepatan penderia dan keupayaan pengecaman gerak isyarat yang kompleks. Pergerakan tangan adalah sangat kompleks Untuk menangkap dan menukarnya dengan tepat kepada pergerakan maya dalam masa nyata, keperluan tinggi diletakkan pada ketepatan dan kelajuan pemprosesan sensor. Pada masa ini, sementara tangkapan dalaman berfungsi dengan baik untuk menangkap pergerakan tangan asas, gerak isyarat yang lebih kompleks, seperti pergerakan kecil jari, mungkin sukar dikenal pasti dengan tepat. Jika masalah pengecaman ketepatan tinggi bagi gerak isyarat kompleks dapat diselesaikan, tangkapan dalaman akan menjadi kaedah interaksi paling ideal dalam Metaverse.

Dari segi teknologi analisis, ia bergantung terutamanya pada penglihatan komputer dan algoritma pembelajaran mesin. Penglihatan komputer digunakan untuk memproses imej atau video yang diperoleh daripada peranti penangkapan untuk mengekstrak titik utama dan kontur tangan. Algoritma pembelajaran mesin, terutamanya algoritma pembelajaran mendalam, digunakan untuk menganalisis data ini dan mengenal pasti gerak isyarat tertentu. Dari segi teknologi penghuraian, algoritma semasa bergantung terutamanya pada pembelajaran mendalam, yang memerlukan sejumlah besar data beranotasi untuk latihan. Walau bagaimanapun, mendapatkan dan melabelkan data ini adalah sangat sukar kerana kerumitan dan kepelbagaian tangan.

Selain menangkap dan menghuraikan, terdapat satu lagi masalah yang perlu diselesaikan - interaksi dengan objek maya, cara membolehkan pengguna merebut, menggerakkan dan memanipulasi objek melalui gerak isyarat dalam persekitaran maya, dan cara menyediakan pengguna dengan sentuhan maklum balas. Masalah yang perlu diselesaikan. Satu kaedah yang mungkin ialah menggunakan model tangan maya untuk menukar gerak isyarat pengguna kepada pergerakan tangan maya, dan kemudian biarkan tangan maya mengendalikan objek maya. Pada masa yang sama, teknologi maklum balas sentuhan yang lebih berkesan, seperti rangsangan elektrik dan ultrasound, perlu dikaji untuk memberikan pengguna maklum balas sentuhan.

Dapat didapati masih terdapat beberapa siri masalah teknikal yang perlu diselesaikan dari segi interaksi persepsi.

Pengeluaran kandungan: ChatGPT dan AIGC telah menjadi kunci untuk membina NPC pintar

Apple adalah pakar dalam membina ekosistem kandungan Pada persidangan Vision Pro ini, Apple turut mengumumkan beberapa kemajuan dalam pembinaan kandungan. Contohnya, Complete HeartX mencipta jantung 3D interaktif membolehkan pereka bentuk menyemak draf reka bentuk perlumbaan F1 mereka secara visual.

Gambar pengenalan produk Vision Pro

Perlu ditegaskan bahawa beberapa keupayaan pengeluaran kandungan yang ditunjukkan oleh Apple masih jauh daripada metaverse kandungan ideal kami. Apa yang kita mahukan ialah metaverse seperti "Ready Player One" atau "Runaway Player", bukan sekadar "pameran" 3D yang cantik. Untuk mencapai matlamat ini, kita perlu meneroka logik mendalam penghasilan kandungan metaverse.

Dalam metaverse, persekitaran, wakil maya orang dan watak bukan pemain (NPC) membentuk kandungan teras dunia maya ini. Ketiga-tiga ini bersama-sama membina pandangan dunia dan jalan cerita Metaverse. Persekitaran menyediakan konteks fizikal dan budaya untuk dunia maya dan mentakrifkan peraturan dan operasi dunia maya. Ia adalah asas dunia maya dan membentuk dimensi spatial metaverse. Wakil maya seseorang, atau watak pemain, ialah identiti dan pelakon pengguna di dunia maya. Ia adalah alat untuk pengguna menyertai dan mengalami dunia maya, mencerminkan kehendak dan tingkah laku pengguna.

Sebaik-baiknya, NPC boleh menyediakan pelbagai watak dan jalan cerita untuk dunia maya, memperkaya kandungan dan pengalaman dunia maya. Mereka adalah pemacu aktiviti di dunia maya dan boleh membantu pengguna mengambil bahagian dan memahami dunia maya dengan lebih baik. Keplastikan dan kreativiti NPC memberikan kemungkinan yang tidak berkesudahan kepada jalan cerita Metaverse Dengan berinteraksi dengan NPC, pengguna boleh mengalami pelbagai cerita dan pengembaraan dalam Metaverse. Wakil maya manusia dalam metaverse boleh memperoleh "keistimewaan" atau kebolehan istimewa melalui interaksi dengan NPC. "Keistimewaan" ini boleh membantu pengguna mencapai matlamat mereka di dunia maya dan meningkatkan identiti dan status mereka di dunia maya. Oleh itu, NPC bukan sahaja pemacu cerita metaverse, tetapi juga faktor penting bagi pengguna untuk mencapai kejayaan dan kepuasan di dunia maya.

Namun, untuk mencapai matlamat di atas, NPC perlu mempunyai tahap kecerdasan yang tinggi, yang jauh di luar jangkauan NPC dalam metaverse semasa. NPC semasa kebanyakannya bergantung pada dialog dan gelagat pratetap, yang mungkin menjadikannya kelihatan tegar dan kurang realisme dan pemperibadian apabila bertindak balas kepada tindakan pemain. Pada masa yang sama, NPC juga mempunyai batasan dalam memajukan jalan cerita dan melakukan interaksi yang berterusan.

Dalam konteks ini, potensi dan kelebihan menggunakan teknologi AI, terutamanya AIGC dan ChatGPT, untuk mengoptimumkan pengeluaran kandungan Metaverse dan membina NPC pintar amat menonjol.

Ketua Pegawai Eksekutif Cocos Lin Shun percaya bahawa gabungan AIGC dan Metaverse dapat meningkatkan kecekapan dan kreativiti penjanaan kandungan dengan banyak. AIGC boleh menjalankan kerja penciptaan kandungan yang berat dan berulang, menjimatkan masa dan tenaga pembangun sambil membawa kandungan permainan yang lebih pelbagai dan kaya. Menggunakan teknologi AIGC, dunia dan adegan boleh dijana secara automatik, mempercepatkan proses penciptaan kandungan Metaverse, menjadikan dunia Metaverse lebih berwarna dan memenuhi keperluan pelbagai bentuk. Contohnya: menjana tugas dan plot secara automatik untuk menjadikan kandungan dalam metaverse lebih jelas dan menarik secara automatik menjana reka bentuk NPC dan watak, AIGC boleh membantu pembangun menjana pelbagai imej NPC dan watak yang diperibadikan, menjadikan watak dalam metaverse lebih pelbagai dan menarik. Unik; secara automatik menjana kesan bunyi dan muzik, kesan bunyi realistik dan muzik dinamik, menjadikan pemandangan Metaverse lebih mengasyikkan dan mengasyikkan.

Lin Shun juga percaya bahawa AI boleh memberikan interaksi yang lebih realistik dan pintar untuk NPC dalam metaverse dengan "jiwa" boleh membentuk dunia yang dinamik dalam metaverse, dan NPC boleh bertindak balas terhadap tindakan dan keputusan pemain Bertindak balas dengan sewajarnya. dunia permainan lebih realistik dan jelas, memajukan pembangunan dunia. Mereka boleh memahami arahan dan emosi pemain melalui pemprosesan bahasa semula jadi dan teknologi pengecaman emosi, dan bertindak balas sewajarnya, dengan itu memberikan pengalaman permainan yang lebih diperibadikan dan kaya. AI memberikan NPC "jiwa" atau personaliti yang lebih realistik Melalui model emosi dan model kognitif, AI boleh menjadikan NPC menunjukkan keadaan emosi, ciri personaliti dan corak tingkah laku yang kompleks, meningkatkan hubungan emosi dan interaksi antara pemain dan NPC.

Lin Yu, ketua pegawai produk Mo Universe, menyatakan pandangan yang sama Dia percaya bahawa "AIGC akan meningkatkan kecekapan pengeluaran Metaverse dalam tiga elemen teras "orang, objek dan adegan". dalam manusia digital Dari segi reka bentuk pemodelan imej, kecekapan reka bentuk dipertingkatkan dalam pembinaan kecerdasan otak manusia digital, tahap kecerdasan manusia digital dipertingkatkan dengan ketara bagi gambar 2D dan 3D dan kandungan video boleh meningkatkan kecekapan pemodelan dan reka bentuk objek dan adegan AIGC boleh memberikan NPC otak, atau "jiwa", dan meningkatkan tahap kecerdasan NPC, seperti soalan dan jawapan pintar antara NPC dan pengguna, bukan sahaja soalan dan jawapan teks, tetapi juga soalan suara dan jawapan, serta soalan berbilang modal seperti gambar dan video Komunikasi pintar ”

Akhir sekali, pengasas dan CEO DataMesh Li Jie menyebut bahawa dalam bidang metaverse perusahaan, masih terdapat "masalah ayam-dan-telur" yang perlu diselesaikan - kandungan berkualiti tinggi boleh menarik pengguna, tetapi jika Tanpa cukup pengguna, adalah mustahil untuk menghasilkan dan mengekalkan kandungan berkualiti tinggi ini. Ini ialah masalah kesan rangkaian klasik.

Li Jie percaya bahawa di bawah model TEMS (Latihan, Pengalaman, Pemantauan dan Simulasi) metaverse perusahaan, satu cara yang mungkin untuk menyelesaikan masalah ini adalah melalui dua aspek simulasi (Simulasi) dan latihan (Latihan). penjanaan kandungan untuk Metaverse. Pada peringkat awal, syarikat boleh melatih dan mendidik pekerja dalaman dengan membina senario simulasi khusus, yang bukan sahaja dapat meningkatkan kemahiran pekerja, tetapi juga menyediakan pengguna aktif awal dan kandungan untuk Metaverse.

Dari masa ke masa, apabila pekerja secara beransur-ansur menyesuaikan diri dan bergantung pada cara kerja baharu ini, pangkalan pengguna Enterprise Metaverse akan berkembang, dan pengguna ini juga akan menjana sejumlah besar data interaktif dalam Metaverse. Data ini boleh dikumpul dan dianalisis untuk mengoptimumkan lagi fungsi Pengalaman dan Monitor dan Kawalan Metaverse, membentuk kitaran yang mulia.

Apabila bercakap tentang aplikasi pembunuh Metaverse, Li Jie percaya bahawa aplikasi pembunuh mungkin merupakan penyelesaian yang menyepadukan dengan sempurna empat aspek TEMS. Contohnya, aplikasi yang boleh mensimulasikan proses perniagaan yang kompleks dalam masa nyata, menyediakan kandungan latihan yang kaya dan tersuai, mempunyai fungsi pemantauan dan kawalan yang cekap, serta memberikan pengalaman pengguna yang lancar dan mendalam mungkin menjadi pembunuh aplikasi Metaverse. Aplikasi sedemikian bukan sahaja dapat meningkatkan kecekapan pengeluaran syarikat dan kepuasan kerja pekerja, tetapi juga menggalakkan inovasi dan pembangunan berterusan syarikat.

Di atas, kami telah menganalisis beberapa bidang teknikal teras dan cabaran XR dan Metaverse. Akhir sekali, saya berharap syarikat seperti Apple dapat terus menerobos kesesakan teknikal dan menurunkan harga secepat mungkin (harga lebih daripada 20,000 memang tidak dekat dengan orang ramai), supaya metaverse berwarna-warni seperti "Ready Player One" boleh sampai secepat mungkin.

Tetapi sejujurnya, saya tidak optimistik dengan set kepala XR yang dikeluarkan oleh Apple kali ini. Apple ialah sebuah syarikat yang hebat, dan keupayaan produknya dalam bidang elektronik pengguna juga unik di dunia. Walau bagaimanapun, masih terdapat beberapa kesesakan teknikal yang ketara dalam industri peralatan XR dan Metaverse Memecahkan kesesakan ini memerlukan usaha seluruh industri dan tidak mungkin satu syarikat dapat mengatasinya. Apabila Apple mengeluarkan Iphone, bukan hanya kesalahan Apple yang membawa manusia ke era Internet mudah alih. Malah, pada masa itu, manusia telah pun memasuki era Internet mudah alih dengan sebelah kaki, tetapi produk Apple adalah yang terbaik dan mereka menuai buah-buahan terbesar. Cuba bayangkan, jika rangkaian kita masih tersekat pada 2G atau pun 1G, adakah iPhone masih berguna? Apple memang hebat, tetapi tidak kira betapa hebatnya sebuah syarikat, adalah mustahil untuk melangkaui zaman.

Dari perspektif rasional, masih terdapat cabaran yang besar dalam setiap paparan mata dekat yang disebutkan di atas, pemaparan pengiraan, interaksi persepsi dan penghasilan kandungan. Walaupun ia sekuat Apple, ia hanya menghasilkan produk terbaik di bawah keadaan industri sedia ada, tetapi ia masih jauh daripada ideal metaverse kami. Adalah dijangkakan bahawa apabila sebilangan besar pengguna benar-benar mengalami Vision Pro, mereka kemungkinan besar akan merasakan bahawa ia mempunyai reka bentuk dan penemuan yang baik berbanding dengan produk XR sebelumnya, tetapi secara keseluruhannya ia masih jauh dari jangkaan dan mempunyai banyak "alur" . Sebagai contoh, menurut laporan, bateri berwayar yang disertakan dengan Vision Pro hanya boleh bertahan selama 2 jam.

Teks: Yi Liao Yanyu / Data Monkey

Atas ialah kandungan terperinci Daripada 'Hey Siri' kepada Metaverse, sejauh manakah Apple perlu pergi?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!