5 ans de recherche et développement secret ! Test 3D 'Magic Mirror' de Google, pas besoin de 'facehuggers' pour discuter avec de vraies personnes

Puis-je compter uniquement sur un visiocasque pour entrer dans le métaverse ?

Non. Laissons libre cours à notre imagination.

Le géant Google a trouvé une autre solution : au lieu d'utiliser un visiocasque, utilisez une « cabine téléphonique » 3D !

Si vous avez l'habitude de skype ou de zoomer, vous serez surpris lorsque vous verrez starline pour la première fois.

Google a officiellement annoncé le projet Project Starline l'année dernière. Il s'agit d'une cabine d'appel vidéo qui utilise des images 3D, des caméras haute résolution, un capteur de profondeur personnalisé et un affichage de champ lumineux révolutionnaire.

Cela crée une expérience extrêmement réaliste pour les appelants des deux côtés de l'écran.

Après un an, le projet de chat vidéo holographique de Google, Project Starline, installera des prototypes dans les bureaux partenaires plus tard cette année pour terminer les tests initiaux.

Naked-eye 3D

Starline est l'une des deux pièces d'échecs présentées par Google dans le métaverse (l'autre est les lunettes AR Iris).

Google prépare ce projet depuis plus de cinq ans.

Lors de la conférence I/O 2021, Google a officiellement annoncé le projet Starline, une salle de chat vidéo à très haute résolution.

Dans le passé, les logiciels de chat vidéo traditionnels tels que Skype ou Zoom ne parvenaient pas à surmonter la distance sensorielle. La personne avec qui vous discutez apparaît en face de vous dans un plan 2D. Et sa voix provenait visiblement d’un téléphone portable, d’une tablette ou d’un ordinateur.

Cette expérience de « séparation de la musique et de la vidéo » n'est pas réelle.

Est-il possible d'éliminer complètement ce « sentiment de distance » ?

Google a posé la question : "Zoom peut-il être transformé en une salle d'arcade géante ?" Ils ont réussi.

Après cinq ans, Google a développé une technologie noire : la technologie d'appel vidéo Starline 3D.

Cette technologie présente deux points forts majeurs : l'un est réel et l'autre est qu'il n'est pas nécessaire de porter d'équipement.

Un écran de champ lumineux de 65 pouces, ainsi que plus d'une douzaine de capteurs et de caméras prédisposés, constituent un tel salon de discussion.

On dirait que l'effet est bien réel.

L'apparence d'une personne aussi réelle a-t-elle été capturée par des caméras et des capteurs et affichée directement sur l'écran de l'autre partie ?

Pas vraiment. Le rôle de chaque caméra et capteur est de capturer des portraits sous différents angles, d'utiliser le deep learning pour effectuer une compression en temps réel, de transmettre ces données au côté opposé et de reconstruire un avatar 3D sur l'écran d'affichage.

Autrement dit, dans cette cabine téléphonique, ce que l'on voit est une "reconstruction" du portrait.

Ce type de reconstruction en temps réel des images des personnages rend les sentiments de chacun d'une réalité sans précédent. C'est comme si la personne avec qui vous discutez était assise en face de vous.

La transmission de ces données collectées, comme une vidéoconférence ordinaire, est basée sur le WebRTC, et l'algorithme de compression unique de Google permet de transmettre des images 3D en temps réel dans les deux sens.

La transmission d'avatars 3D via une connexion de chat vidéo permet à Google de résoudre le problème du contact visuel. Dans les chats vidéo classiques, cela a toujours été un problème. Dans le passé, les webcams sur le moniteur rendaient impossible tout contact visuel lorsque l'on regardait le moniteur, mais les avatars 3D peuvent combler le fossé entre le centre de la caméra et le centre du moniteur, permettant ainsi un contact visuel entre les deux parties.

Google traite ces données dans une puissante station de travail double Xeon avec quatre GPU Nvidia (deux Quadro RTX 6000 et deux Titan RTX).

Une autre grande particularité de Starline est qu'elle ne nécessite le port d'aucun équipement.

Oui, vous avez bien entendu, les casques VR et les lunettes intelligentes ne sont pas nécessaires !

Même, dans la carte conceptuelle précédemment publiée par Google, les caméras et les capteurs sont placés dans un tableau.

Après un peu de décoration, vous aurez même l'illusion que votre bureau est devant vous, et que la personne avec qui vous discutez est assise en face du bureau.

Selon le schéma technique donné par Google, cet ensemble d'équipements comprend : une unité d'affichage contenant un moniteur, une caméra, un haut-parleur, un microphone, un éclairage et un ordinateur, et une unité d'affichage contenant un rétroéclairage infrarouge et utilisé comme unité de rétroéclairage de banquette. Les deux unités contiennent des bandes LED blanches inclinées vers les murs et le plafond pour créer un éclairage doux et réfléchi.

L'écran est un panneau d'objectif autostéréoscopique de 65 pouces, 8 K, 60 Hz, sur lequel un avatar 3D grandeur nature à l'œil nu est généré.

Le sous-système de capture se compose de trois modules de capture RGBD tridimensionnels synchronisés : deux au-dessus du moniteur et un dans le « mur du milieu » sous le moniteur.

Le module plus bas comprend une caméra couleur supplémentaire pour zoomer sur le visage de votre sujet. De plus, deux des quatre caméras de suivi monochromes se trouvent au-dessus de l'écran et les deux autres, une de chaque côté, sont utilisées pour capturer des images grand angle à grande vitesse des yeux, des oreilles et de la bouche.

La méthode de rendu est celle indiquée dans l'image ci-dessous.

Et le pod est le dispositif de capture RGBD mentionné ci-dessus.

Les effets des personnages rendus de cette manière sont plus réalistes et réalistes.

Starline est également équipé d'un système audio avancé.

Ce système utilise la formation de faisceaux suivie par le locuteur, la réduction de la réverbération, la transmission WebRTC, la synthèse audio virtuelle suivie par le locuteur/auditeur, la combinaison de division de fréquence d'élimination de la diaphonie binaurale, la traduction d'amplitude et la formation de faisceaux audio et dynamique spatialisés et autres technologies.

Avec la bénédiction de ces technologies, c'est comme si les deux interlocuteurs parlaient face à face.

L'année dernière, les ingénieurs de Google ont déclaré que cet appareil pouvait fonctionner dans un environnement réseau de bureau standard. Il semble que la technologie Starline devrait être largement promue.

À l'époque, Google n'a pas divulgué plus de détails sur le prix.

Il est difficile d'imaginer le marché pour cette cabine téléphonique à six chiffres de 7 pieds sur 7 pieds, de la taille d'une salle de bain, mais Google poursuit ses tests.

Ne soyez pas un "face hugger"

Comment se passe l'avancement de ce projet jusqu'à présent ?

Lors de Google Cloud Next 2022, le PDG de Google, Sundar Pichai, a présenté quelques progrès réalisés sur le projet de chat vidéo holographique (Projet Starline).

Google a déclaré qu'il effectuerait des tests réguliers dans des bureaux partenaires sélectionnés, notamment Salesforce, WeWork, T-Mobile et Hackensack Meridian Health.

WeWork et Salesforce ont déclaré qu'ils souhaitaient essayer la technologie, arguant qu'elle peut rendre les liens entre les gens plus significatifs.

À ce jour, le projet Starline a été testé pendant des milliers d'heures au sein de Google et utilisé quotidiennement dans ses bureaux américains. "Aujourd'hui, des prototypes du projet Starline peuvent être trouvés dans les bureaux de Google à travers les États-Unis, et les employés utilisent la technologie pour des réunions tous les jours", a déclaré Google dans un communiqué

Alors que ce projet passe aux tests dans le monde réel. , il sera possible de comprendre comment cette technologie sera utilisée dans le monde réel et à quels défis elle pourra être confrontée.

Beaucoup de gens trouvent cela très cool, mais certains se demandent si le projet Starline pourra éventuellement faire partie de la vie quotidienne des travailleurs.

Face au vaste marché des équipements de conférence d'entreprise, Starline dispose d'un peu d'espace. Mais certaines limitations rendent Starline difficile à utiliser pour des réunions sérieuses. Les équipements de conférence d'entreprise conviennent souvent à de grands groupes de personnes assises autour d'une table, et une large compatibilité permet à quiconque de démarrer une réunion en utilisant presque n'importe quel matériel.

Cependant, Starline ne prend en charge que le chat en tête-à-tête avec une seule personne, j'ai bien peur qu'il ne puisse être utilisé que pour passer des appels présidentiels ?

Récemment, Google a invité un journaliste à réaliser un test d'expérience sur Starline. Le journaliste l'a décrit comme suit :

"L'ensemble du processus semblait beaucoup plus naturel qu'un appel Zoom. Il n'y avait aucun retard notable dans les mouvements de l'autre partie ou dans notre conversation, donc c'était comme parler. Il n'y avait pas tout retard audio ou visuel étrange. "

" Je croirai que je suis vraiment avec quelqu'un parce que j'établis un véritable contact visuel avec une personne virtuelle grandeur nature au lieu de plisser les yeux dans une petite fenêtre de zoom. " Une partie de ce qui rend Starline si convaincant, c'est que vous ne regardez pas seulement l'écran, mais vous regardez une série de lentilles, ou de réseaux de lentilles, devant l'écran. Le principe est similaire aux cartes holographiques, qui peuvent afficher différentes images ou effets 3D lorsque vous les secouez d'avant en arrière. Starline suit vos yeux pour savoir où pointer les images qu'il vous montre.

Enfin, le journaliste a conclu : "Il est utile pour les conversations en tête-à-tête, en particulier dans les cabinets médicaux ou dans les lieux où vous devez servir des clients. Son statut à long terme est resté inconnu."

Il y a un an, ce projet a été réorganisé et Google a réorganisé sa technologie AR/VR et son équipe R&D interne Area 120 en équipe "Labs".

Et le mois dernier, Google a également réduit de moitié le nombre d'employés de la zone 120.

Cela suggère que dans le climat économique actuel, Google pourrait ne pas considérer ce type d'expérimentation comme une priorité. Même certains employés internes de Google ne sont pas sûrs que le projet Starline existe toujours.

Pour autant, Starline est un pari passionnant sur un autre type de réalité virtuelle.

Les gens n'ont pas besoin d'Avatar, ils ne peuvent se connecter dans le monde virtuel qu'à travers leur vrai moi.

Il y a quelques jours, Meta a également lancé son casque haut de gamme le plus cher, Quest Pro.

Et Google n'a pas développé de technologie pour utiliser des caméras pour mettre en œuvre le suivi des mouvements des yeux et du visage comme le fait Meta actuellement.

Nous n'avons pas étudié comment "ajouter des jambes" à votre corps en réalité virtuelle, mais nous nous sommes concentrés sur la présentation d'une personne réelle.

La chose la plus importante est que vous n'êtes pas obligé de le porter sur votre visage comme un "facehugger", ce qui ajouterait un fardeau.

Dans le même temps, alors que de plus en plus d'entreprises tentent de trouver un avenir hybride de modèles de travail, Starline peut combler le fossé du chat vidéo 2D d'aujourd'hui.

2024, mettant sur le marché le premier visiocasque AR

En fait, Google n'est pas loin derrière en termes de disposition du visiocasque AR.

Au début de cette année, deux personnes proches du dossier ont révélé que Google avait commencé à accélérer le développement d'un casque AR, qui porte en interne le nom de code Project Iris et espère être lancé en 2024.

Et Google espère sortir Starline avec Iris d'ici 2024.

Le dernier casque Iris utilisera le dernier processeur de Google, une puce Tensor entièrement développée par lui-même, et prendra également en charge le fonctionnement sur les systèmes Android.

Quant au nouveau système d’exploitation, il fait également partie des futurs plans de recherche et développement de Google.

Cet appareil AR utilise des caméras orientées vers l'extérieur pour mélanger les graphiques informatiques avec le monde réel, créant ainsi une expérience de réalité mixte plus immersive que les lunettes AR existantes comme Snap et Magic Leap.

En raison de contraintes électriques, Google utilisera son centre de données pour restituer à distance certains graphiques et les transmettre aux lunettes AR via la connexion Internet.

Le projet Iris peut être considéré comme un tournant dans le développement des lunettes Google AR.

Dès 2012, Google a publié un prototype de lunettes AR. Semblable à une paire de lunettes de ski, mais ne nécessite pas de connexion à une source d'alimentation externe.

Grâce à une vague de mises à niveau matérielles et logicielles, il a atterri avec succès sur le marché américain en 2014, au prix de 1 500 $ US. Cependant, en 2015, il a été contraint de le retirer des rayons en raison de diverses nouvelles négatives.

En 2015, Google a lancé une « boîte à lunettes VR » lors de sa conférence I/O. L'appareil est très simple et se compose principalement d'un morceau de carton et de deux lentilles spéciales en plastique.

En 2017, Google a décidé de déplacer l'application des lunettes AR vers l'industrie.

Malgré sa hâte de rattraper son retard, Google semble être à la traîne de ses pairs dans la création de nouvelles formes de matériel AR.

Depuis lors, Google est resté visiblement silencieux sur le développement matériel des lunettes AR et a choisi de se concentrer sur le développement de fonctionnalités logicielles liées à Google Lens, un moteur de recherche visuel et des directions AR dans Google Maps.

Avec l'explosion du concept Metaverse en 2021, de nombreux grands constructeurs ont lancé leur tracé sur cette piste.

En fait, Google joue aussi tranquillement à son propre jeu. Qu’il s’agisse du casque AR Iris ou du projet d’appel vidéo holographique Starline.

Zha a dit un jour dans une interview : "La magie de la réalité virtuelle est qu'elle peut immédiatement vous faire croire que vous êtes dans un autre endroit et avec les gens là-bas. Son idée est un hologramme, et Starline c'est exactement ça." Il arriva que les héros virent la même chose.

Maintenant, deux des plus grandes entreprises technologiques du monde travaillent dur pour améliorer les avatars, bien que de différentes manières : Meta met le paquet avec le concept de métaverse, tandis que Google travaille dur pour reprendre l'entreprise.

Les salons de discussion et les écrans de réalité mixte coûteux ne sont ni pratiques ni idéaux pour la plupart des gens, mais ce qui décolle vraiment se produira probablement quelque part entre les deux.

​参考资料：

https://techcrunch.com/2022/10/13/googles-3d-video-calling-booths-project-starline-will-now-be-tested-in-the-real-world /

https://www.theverge.com/2022/10/13/23400870/google-project-starline-3d-chat-booth-impressions

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!