Trois technologies clés donnent la puissance aux interfaces AR

Cet article partira d'un point de vue technique et prendra comme exemple l'Apple MR récemment lancé pour analyser les trois points techniques clés sur lesquels le monde de la RA doit s'appuyer : le suivi oculaire, la reconnaissance manuelle et le calcul spatial. Regardons l'analyse de l'auteur sur ces trois points techniques~

Dans le monde physique, observer avec les yeux et opérer avec les mains sont les moyens d'interaction les plus naturels. Pour réaliser la poursuite de cette interaction naturelle dans le monde de la RA, nous devons nous appuyer sur trois points techniques clés.

Nous ne sommes pas déçus, car le lancement d'Apple Vision Pro démontre les capacités d'interaction naturelles permises par trois technologies.

1. Technologie de suivi oculaire

Si nous avons besoin d'interagir davantage avec un objet dans la réalité, nous concentrerons naturellement nos yeux sur lui. Lorsque nous consacrerons notre attention à concentrer nos yeux sur lui, cela représente déjà notre choix.

Ce processus couvre deux états dans le champ actuel de l'interface : l'état d'activation (focus) et l'état de clic (sélection). La technologie de suivi oculaire réalise le processus de vision et de concentration.

Cette technologie n’est certainement pas la première du genre. Pionnier des lunettes AR, l'interaction Microsoft Holoens de 2e génération intègre Eye-gaze, qui est la fonction de mise au point avec vos yeux.

Auparavant, l'interaction tête-regard de la première génération de Microsoft Holoens avait en fait le concept de voir et d'activer avec les yeux. Cependant, dans Head-gaze, la tête est légèrement déplacée pour contrôler un point (Gaze) au centre de l'écran afin d'activer le contenu. Il y a toujours un écart entre celui-ci et notre interaction naturelle d'origine, car en fait, nous nous concentrons sur un. objet et vous n'avez pas besoin de vous concentrer dessus à chaque fois. Comptez simplement sur votre tête pour bouger et sur vos yeux pour bouger.

Cependant, bien que la technologie de suivi oculaire puisse mieux résoudre le standard de l'interaction naturelle, l'interaction avec les mouvements de la tête n'est pas sans mérite. Par exemple, les lunettes actuellement développées par mon équipe ne peuvent prendre en charge que l'interaction tête-regard. Le coût et la difficulté technique de cette méthode interactive sont inférieurs à la méthode d'activation de la mise au point par la main/la souris/la télécommande, etc., elle est plus proche du concept d'interaction naturelle consistant à voir avec nos yeux.

De plus, la technologie de suivi oculaire a réalisé l'état d'activation, mais elle n'a pas encore véritablement réalisé la sélection, c'est-à-dire l'état de clic. La fonction est de dire à la machine que je confirme que c'est bien elle.

Au sens strict, il est très nécessaire d'omettre l'étape de confirmation manuelle pour les choses qui ne nécessitent pas d'opération. Par exemple, lorsque je mange des collations et que je regarde des émissions de télévision, j'espère vraiment ne pas avoir à m'essuyer les mains sales avant chaque opération... Dans le domaine manufacturier, ce genre de besoin de libérer les mains est souvent évoqué par clients.

Pour une interaction plus naturelle, cela peut peut-être aussi faire partie de notre imagination. J'ai déjà écrit sur un brevet qui s'appuyait sur la technologie des ondes cérébrales pour une simple confirmation.

2. Technologie de reconnaissance gestuelle

Le suivi oculaire satisfait l'interaction de la visualisation de cette pièce avec les yeux, tandis que l'opération avec les mains nécessite une technologie de reconnaissance gestuelle.

Il ne s'agit pas d'une nouvelle technologie. Elle a déjà été installée sur de nombreux appareils ARVR. Bien entendu, le degré de mise en œuvre doit être confirmé par l'expérience réelle.

Dans la vidéo promotionnelle de Vision Pro, la reconnaissance des gestes semble très naturelle, et la main n'a même pas besoin d'être levée. Cela devrait s'appuyer sur 4 ensembles de caméras orientées vers le bas (c'est probablement l'une des raisons pour lesquelles un 12-). la configuration de la caméra est requise).

Par rapport à la vidéo promotionnelle de Hololens2, on voit que les gestes sont couverts par la caméra aérienne.

Étant donné que la reconnaissance des gestes dépend de l'appareil photo (l'ordinateur a besoin d'entrées pour savoir comment vos mains bougent), les résultats d'un même geste pris sous différents angles seront différents et les résultats de la reconnaissance seront également affectés.

De plus, l'expérience de la technologie de reconnaissance gestuelle 2D et de reconnaissance gestuelle 3D est également différente.

3. Calcul spatial

Pour permettre aux yeux de voir plus facilement et de fonctionner plus naturellement avec les mains, l'appareil doit avoir la capacité de comprendre l'espace. L'informatique spatiale est ce que Vision Pro veut promouvoir. Leur concentration sur cette capacité leur fait croire que cette capacité peut diviser une époque.

"L'ère de l'informatique spatiale".

De nombreuses interactions se produisent naturellement parce que les machines ont des capacités de calcul spatial. En d’autres termes, si les machines n’ont pas la capacité de comprendre l’espace, ces interactions ne peuvent pas se produire naturellement. Nerf, SLAM, 3DOF et 6DOF font tous partie de la technologie informatique spatiale, et tout ce que vous entendez entre dans cette catégorie.

Du point de vue de l'expérience, la perception de la distance entre les objets et entre les objets et les utilisateurs provoquée par la profondeur de l'espace ; les changements dans la forme des objets provoqués par l'orientation de la perspective de l'utilisateur dans différentes positions et postures ; en raison du temps et des changements dans l'environnement réel. Modifications de la perception des couleurs causées par différentes conditions d'éclairage telles que la météo ou même des sons provenant de différents emplacements spatiaux, etc. L'informatique spatiale peut donner aux concepteurs plus d'espace pour une interaction naturelle.

On peut dire que l'informatique spatiale est la technologie clé qui permettra à la RA de se différencier des interfaces d'écran ordinaires à l'avenir, et ce à quoi nous nous attendons vraiment : "Tout ce que vous regardez peut devenir une interface".

Chroniqueur

Lin Yingluo, compte public WeChat : Il y a des ombres qui tombent dans la forêt, et tout le monde est chroniqueur chef de produit. Un concepteur d'expérience utilisateur qui sait jouer aux cartes, auteur de "AR Interface Design", 10 ans + d'expérience en conception UIUX, axé sur la conception d'expérience utilisateur dans le domaine de la RA et de l'intelligence pendant 6 ans, formation en design et psychologie, professionnel national ; certification senior OH Card master/talent mining coach. J'espère que mes efforts pourront ajouter de la valeur au domaine du design d'un avenir intelligent et rendre la carrière d'un designer plus précieuse

Image de titre d'Unsplash, basée sur le protocole CC0

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!