5 tahun penyelidikan dan pembangunan rahsia! Ujian 3D 'Cermin Ajaib' Google, tidak perlu 'peluk muka' apabila bersembang dengan orang sebenar

Bolehkah saya hanya menggunakan set kepala untuk memasuki metaverse?

Tidak. Biarkan imaginasi kita berjalan liar sedikit lagi.

Google gergasi telah memberikan penyelesaian lain: daripada menggunakan paparan yang dipasang di kepala, gunakan "booth telefon" 3D!

Jika anda biasa skype atau zoom, anda pasti terkejut apabila melihat starline buat pertama kali.

Google secara rasmi mengumumkan projek Project Starline tahun lepas. Ia ialah gerai panggilan video yang menggunakan imejan 3D, kamera resolusi tinggi, penderia kedalaman tersuai dan paparan medan cahaya terobosan.

Ini mewujudkan pengalaman yang sangat realistik untuk pemanggil di kedua-dua belah skrin.

Selepas setahun, projek sembang video holografik Google Project Starline akan memasang prototaip di pejabat rakan kongsi akhir tahun ini untuk melengkapkan ujian awal.

3D bermata kasar

Starline ialah salah satu daripada dua buah catur yang dibentangkan oleh Google dalam Metaverse (yang satu lagi ialah cermin mata AR Iris).

Google telah menghasilkan projek ini selama lebih daripada lima tahun.

Pada persidangan I/O 2021, Google secara rasmi mengumumkan Project Starline, bilik sembang video resolusi super tinggi.

Pada masa lalu, perisian sembang video tradisional seperti skype atau zum tidak dapat mengatasi jarak deria. Orang yang anda sedang bersembang muncul bertentangan dengan anda dalam satah 2D. Dan suaranya jelas datang dari telefon bimbit, tablet atau komputer.

Pengalaman "pemisahan audio dan video" semacam ini tidak benar.

Adakah mungkin untuk menghapuskan sepenuhnya "rasa jarak" ini?

Google menanyakan soalan, "Bolehkah Zoom ditukar menjadi arked duduk gergasi?"

Selepas lima tahun, Google membangunkan teknologi hitam - teknologi panggilan video 3D Starline.

Teknologi ini mempunyai dua sorotan utama: satu adalah nyata, dan satu lagi ialah tidak perlu memakai sebarang peralatan.

Paparan medan cahaya 65 inci, ditambah dengan sedozen penderia dan kamera yang telah diatur sebelumnya, membentuk ruang sembang sedemikian.

Nampak sangat kesannya.

Penampilan watak sebenar seperti itu ditangkap oleh kamera dan penderia dan dipaparkan terus pada paparan pihak yang satu lagi ?

Tidak. Peranan setiap kamera dan penderia adalah untuk menangkap potret dari sudut yang berbeza, menggunakan pembelajaran mendalam untuk melakukan pemampatan masa nyata, menghantar data ini ke sisi bertentangan dan membina semula avatar 3D pada skrin paparan.

Dengan kata lain, dalam pondok telefon ini, apa yang anda lihat ialah " Pembinaan semula" potret.

Pembinaan semula imej watak dalam masa nyata ini menjadikan perasaan masing-masing sangat nyata. Seolah-olah orang yang anda berbual sebenarnya duduk di hadapan anda.

Penghantaran data yang dikumpul ini, seperti persidangan video biasa, adalah berdasarkan WebRTC dan Google Algoritma pemampatan unik memungkinkan untuk menghantar imej 3D dalam dua arah dalam masa nyata.

Menghantar avatar 3D melalui sambungan sembang video membolehkan Google menyelesaikan isu hubungan mata. Dalam sembang video biasa, ini selalu menjadi masalah. Pada masa lalu, kamera web pada monitor menjadikannya mustahil untuk membuat hubungan mata apabila melihat monitor, tetapi avatar 3D boleh merapatkan sambungan antara pusat kamera dan tengah monitor, membolehkan hubungan mata antara kedua-dua pihak.

Google sedang memproses data ini dalam stesen kerja dwi Xeon yang berkuasa dengan empat GPU NVIDIA (dua Quadro RTX 6000 dan dua Titan RTX).

Satu lagi ciri hebat Starline ialah ia tidak memerlukan sebarang peralatan.

Ya, anda dengar betul, set kepala VR dan cermin mata pintar tidak diperlukan!

Malah, dalam peta konsep yang dikeluarkan oleh Google sebelum ini, kamera dan penderia diletakkan di dalam jadual.

Selepas sedikit hiasan, anda akan mendapat ilusi bahawa meja anda berada di hadapan anda, dan orang yang anda sedang berbual duduk bertentangan dengan meja .

Menurut rajah teknikal yang disediakan oleh Google, set peralatan ini termasuk: paparan, kamera, pembesar suara, mikrofon , unit penerang dan paparan komputer, dan unit lampu latar yang mengandungi lampu latar inframerah dan digunakan sebagai tempat duduk bangku. Kedua-dua unit mengandungi jalur LED putih bersudut ke arah dinding dan siling untuk menghasilkan pencahayaan yang lembut dan terpantul.

Paparan ialah panel kanta autostereoskopik 65 inci, 8 K, 60 Hz di mana avatar paparan 3D mata kasar bersaiz sebenar dihasilkan.

Subsistem tangkapan terdiri daripada tiga pod tangkapan RGBD tiga dimensi yang disegerakkan: dua di atas monitor dan satu di "dinding tengah" di bawah dinding monitor) .

Pod lebih jauh ke bawah termasuk kamera warna tambahan untuk mengezum masuk pada muka subjek. Selain itu, dua daripada empat kamera penjejakan monokrom berada di atas paparan dan baki dua lagi, satu pada setiap sisi, digunakan untuk menangkap imej berkelajuan tinggi, sudut lebar mata, telinga dan mulut.

Kaedah rendering adalah seperti yang ditunjukkan dalam rajah di bawah.

Pod ialah peranti tangkap RGBD yang dinyatakan di atas.

Kesan watak yang dipaparkan dengan cara ini lebih realistik dan seperti hidup.

Starline turut dilengkapi dengan sistem bunyi termaju.

Sistem ini menggunakan pembentukan pancaran berjejak pembicara, pengurangan gema, penghantaran WebRTC, Teknologi yang dijejaki pembicara/pendengar seperti maya sintesis audio, gabungan pembahagian frekuensi penghapusan crosstalk binaural, terjemahan amplitud, audio terruang dan pembentukan pancaran dinamik.

Dengan keberkatan teknologi ini, seakan-akan dua orang yang sedang menelefon itu bercakap secara bersemuka.

Tahun lepas, jurutera Google berkata bahawa peranti itu boleh dijalankan pada persekitaran rangkaian pejabat standard. Nampaknya teknologi Starline dijangka akan dipromosikan secara meluas.

Pada masa itu, Google tidak mendedahkan butiran lanjut tentang harga.

Sukar untuk membayangkan pasaran untuk pondok telefon 7 kaki dengan 7 kaki, enam digit saiz bilik mandi, tetapi Google terus maju dengan lebih banyak ujian.

Jangan jadi “peluk muka”

Bagaimana perkembangan projek ini begitu jauh ke?

Di Google Cloud Next 2022, CEO Google Sundar Pichai memperkenalkan beberapa kemajuan yang dibuat dalam projek sembang video holografik (Project Starline).

Google berkata ia akan menjalankan ujian tetap di pejabat rakan kongsi terpilih, termasuk Salesforce, WeWork, T-Mobile dan Hackensack Meridian Health.

WeWork dan Salesforce berkata mereka berminat untuk mencuba teknologi itu, dengan alasan ia boleh menjadikan hubungan antara orang lebih bermakna.

Sehingga kini, Project Starline telah menjalani beribu-ribu jam ujian dalam Google dan digunakan setiap hari di pejabatnya di A.S..

Google berkata dalam satu kenyataan: "Hari ini, di seluruh Amerika Syarikat, Prototaip projek Starline boleh ditemui di pejabat Google dan pekerja menggunakan teknologi untuk mesyuarat setiap hari." Anda boleh memahami cara teknologi ini akan digunakan di dunia nyata dan cabaran yang mungkin dihadapinya.

Ramai orang berpendapat ia sangat keren, tetapi sesetengah orang mempersoalkan sama ada projek Starline akhirnya boleh menjadi sebahagian daripada kehidupan harian orang yang bekerja.

Menghadapi pasaran peralatan persidangan perusahaan yang luas, Starline mempunyai sedikit ruang. Tetapi beberapa batasan menjadikan Starline sukar digunakan untuk mesyuarat yang serius. Peralatan persidangan perusahaan selalunya sesuai untuk kumpulan besar orang yang duduk di sekeliling meja, dan keserasian luas membolehkan sesiapa sahaja memulakan mesyuarat menggunakan hampir mana-mana perkakasan.

Walau bagaimanapun, Starline hanya menyokong sembang satu sama satu dengan seorang , Saya takut hanya Bolehkah ia digunakan untuk membuat panggilan presiden?

Baru-baru ini, Google menjemput seorang wartawan untuk menjalankan ujian pengalaman di Starline. Wartawan itu menyifatkannya seperti berikut:

"Keseluruhan proses terasa lebih semula jadi daripada panggilan Zoom. Tidak ada kelewatan yang jelas dalam pergerakan pihak lain dan kami perbualan, jadi Ia seperti bercakap. Tiada kelewatan audio atau visual yang pelik." Buat hubungan mata sebenar dengan manusia maya bersaiz penuh dan bukannya menjeling ke dalam tetingkap Zum kecil. >

Sebahagian daripada perkara yang membuatkan Starline begitu meyakinkan ialah anda bukan sahaja melihat skrin, tetapi anda melihat satu siri kanta, atau susunan kanta, di hadapan skrin. Prinsipnya serupa dengan kad holografik, yang boleh memaparkan imej atau kesan 3D yang berbeza apabila anda menggoncangnya ke depan dan ke belakang. Starline menjejaki mata anda untuk mengetahui ke mana hendak menghalakan imej yang ditunjukkannya kepada anda.

Akhirnya, wartawan membuat kesimpulan: "Ia berguna untuk perbualan satu lawan satu, terutamanya di pejabat doktor atau tempat di mana anda perlu melayani pelanggan."

Status jangka panjang Project Starline di Google sentiasa tidak diketahui.

Setahun yang lalu, projek ini juga telah disusun semula, dengan Google menyepadukan teknologi AR/VR dan kawasan pasukan R&D dalaman 120 disusun semula ke dalam pasukan "Makmal".

Bulan lepas, Google turut mengurangkan separuh bilangan kakitangan Kawasan 120.

Ini menunjukkan bahawa dalam iklim ekonomi semasa, Google mungkin tidak menganggap jenis eksperimen ini sebagai keutamaan. Malah sesetengah pekerja dalaman Google tidak pasti Project Starline masih wujud.

Walaupun begitu, Starline adalah pertaruhan yang menarik pada jenis realiti maya yang berbeza.

Orang ramai tidak memerlukan Avatar, mereka boleh berhubung di alam maya hanya melalui diri mereka yang sebenar.

Beberapa hari lalu, Meta turut melancarkan set kepala mewah termahalnya, Quest Pro.

Google belum membangunkan teknologi untuk menggunakan kamera untuk mengesan pergerakan mata dan muka, seperti yang dilakukan Meta sekarang.

juga tidak mengkaji cara "menambah kaki" pada badan anda dalam realiti maya, tetapi memberi tumpuan kepada mempersembahkan orang sebenar.

Perkara yang paling penting ialah anda tidak perlu memakainya di muka anda seperti "facehugger", menambah beban.

Pada masa yang sama, apabila semakin banyak perniagaan cuba memikirkan masa depan kerja hibrid, Starline boleh merapatkan jurang dalam sembang video 2D hari ini.

2024, membawakan paparan pertama yang dipasang pada kepala AR ke pasaran

Malah, Google tidak ketinggalan dari segi kepala AR -lekap susun atur paparan.

Pada awal tahun ini, dua orang yang biasa dengan perkara itu mendedahkan bahawa Google telah mula meningkatkan pembangunan set kepala AR, yang secara dalaman adalah kod- dinamakan Project Iris dan berharap untuk dilancarkan pada 2024.

Dan Google berharap untuk mengeluarkan Starline with Iris menjelang 2024.

Headset Iris terbaharu akan menggunakan pemproses terbaharu Google, cip Tensor yang dibangunkan sendiri sepenuhnya, dan juga menyokong berjalan pada sistem Android.

Bagi sistem pengendalian baharu, ia juga berada dalam rancangan penyelidikan dan pembangunan masa depan Google.

Peranti AR ini menggunakan kamera yang menghadap ke luar untuk menggabungkan grafik pengiraan dengan dunia sebenar, mencipta pengalaman yang lebih mengasyikkan daripada cermin mata AR sedia ada seperti Snap dan Magic Leap pengalaman realiti bercampur.

Disebabkan kekangan kuasa, Google akan menggunakan pusat datanya untuk memaparkan beberapa grafik dari jauh dan menghantarnya ke cermin mata AR melalui sambungan Internet.

Projek Iris boleh dikatakan sebagai titik perubahan dalam pembangunan cermin mata Google AR.

Seawal 2012, Google mengeluarkan prototaip cermin mata AR. Sama seperti sepasang gogal ski, tetapi tidak memerlukan sambungan ke sumber kuasa luaran.

Dengan gelombang peningkatan perkakasan dan perisian, ia berjaya mendarat di pasaran AS pada 2014, berharga AS$1,500. Bagaimanapun, pada tahun 2015, ia terpaksa dikeluarkan dari rak kerana pelbagai berita negatif.

Berikutan ini, pada tahun 2015, Google mengeluarkan "kotak cermin mata VR" pada persidangan I/Onya. Peranti ini sangat mudah dan terutamanya terdiri daripada sekeping kadbod dan dua kanta plastik khas.

Pada 2017, Google memutuskan untuk mengalihkan penggunaan cermin mata AR kepada industri.

Walaupun tergesa-gesa untuk mengejar ketinggalan, Google nampaknya ketinggalan di belakang rakan setaranya dalam membina perkakasan AR bentuk baharu.

Sejak itu, Google secara ketara membisu mengenai pembangunan perkakasan cermin mata AR dan telah memilih untuk memfokuskan pada pembangunan Google Lens, enjin carian visual dan arah AR dalam fungsi perisian Berkaitan Peta Google.

Dengan ledakan konsep Metaverse pada tahun 2021, banyak pengeluar utama telah melancarkan reka letak mereka pada trek ini.

Malah, Google juga secara senyap-senyap bermain permainannya sendiri. Sama ada alat dengar AR Iris atau projek panggilan video holografik Starline.

Xiao Zha pernah berkata dalam temu bual: "Keajaiban VR ialah ia boleh membuat anda percaya bahawa anda berada di tempat lain dan bersama orang di sana. . Bersama-sama." Ideanya adalah hologram, dan Starline mempunyai idea yang sama.

Kini, dua daripada syarikat teknologi terbesar dunia sedang berusaha keras untuk menambah baik avatar, walaupun dengan cara yang berbeza: Meta akan berusaha sedaya upaya dengan idea untuk metaverse, Dan Google cuba mengambil alih perniagaan.

Bilik sembang dan paparan realiti campuran yang mahal tidak praktikal dan tidak sesuai untuk kebanyakan orang, tetapi sesuatu yang benar-benar berkesan, boleh berlaku di Somewhere in between.

​参考资料：

https://techcrunch.com/2022/10/13/googles-3d-video-calling-booths-project-starline-will-now-be-tested-in -the-real-world/

https://www.theverge.com/2022/10/13/23400870/google-project-starline-3d-chat-booth-impressions

Atas ialah kandungan terperinci 5 tahun penyelidikan dan pembangunan rahsia! Ujian 3D 'Cermin Ajaib' Google, tidak perlu 'peluk muka' apabila bersembang dengan orang sebenar. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!