Le brevet Microsoft AR/VR partage une solution pour la connexion intelligente d'un clavier virtuel

(Nwe le 30 mai 2023) Pour les appareils XR, le clavier virtuel est une méthode de saisie courante. Les claviers virtuels traditionnels sont présentés à proximité de l'utilisateur selon un angle et une distance fixes. Cependant, les utilisateurs souhaitent parfois un clavier virtuel capable de se déplacer intelligemment et d'être ancré devant des objets virtuels spécifiques en fonction de leur intention, offrant ainsi une expérience cohérente et prévisible.

Par exemple, dans un bureau holographique, les utilisateurs souhaiteraient que le clavier virtuel soit directement attaché à l'avant de l'écran virtuel, créant ainsi une configuration similaire à la relation de position correspondante entre le clavier physique et l'écran physique, car le virtuel le clavier et l'écran virtuel apparaissent ensemble dans la même fenêtre.

Dans la demande de brevet intitulée « Attachement de clavier intelligent pour une saisie en réalité mixte », Microsoft a introduit une méthode d'attachement de clavier intelligent.

Sur la figure 3, le périphérique de saisie virtuel 305 est un clavier virtuel et est configuré pour permettre la saisie dans une application correspondant à l'objet virtuel 303. Lorsqu'un dispositif d'entrée virtuel 305 est attaché à un objet virtuel 303, l'objet virtuel 303 désactive d'autres mécanismes pour recevoir une entrée, tels qu'une interaction fovéale et/ou une interaction de rayon.

Dans un mode de réalisation, le dispositif d'entrée virtuel 305 peut se déplacer dans l'environnement 301 lorsque la tête de l'utilisateur bouge, de sorte que le dispositif d'entrée virtuel 305 n'est plus inclus dans le champ de vision de l'utilisateur. En d'autres termes, le dispositif d'entrée virtuel 305 peut facilement entrer ou sortir facilement du champ de vision.

Attacher le dispositif d'entrée virtuel 305 à l'objet virtuel 303 fait référence à la création d'une relation de transformation de positionnement hiérarchique entre l'objet virtuel 303 et le dispositif d'entrée virtuel 304 de telle sorte que le dispositif d'entrée virtuel 306 hérite de la position de l'objet virtuel 303. La relation de positionnement hiérarchique comprend un ou plusieurs éléments parmi la distance, la direction et l'angle entre l'objet virtuel 303 et le dispositif d'entrée virtuel 305.

Le décalage du dispositif d'entrée virtuel 305 et de l'objet virtuel 303 fournit au dispositif d'entrée virtuel le meilleur angle ergonomique. Le décalage entre l'objet virtuel 303 et le dispositif d'entrée virtuel 305 est fixe. Bien entendu, dans une autre mise en œuvre, le décalage entre l'objet virtuel 303 et le dispositif d'entrée virtuel 305 peut rester dynamique.

La figure 4 montre un environnement MR comprenant deux objets virtuels et un périphérique d'entrée virtuel.

L'environnement 401 comprend un objet virtuel 303 correspondant à la première application. Parallèlement, l'utilisateur peut ouvrir un deuxième programme d'application autre que le premier programme d'application et générer un deuxième objet virtuel 403 correspondant au deuxième programme d'application.

Comme l'objet virtuel 303, le deuxième objet virtuel 403 est prévu à un emplacement spécifique au sein de l'environnement tridimensionnel 401. En réponse à la détermination de l'intention de l'utilisateur d'utiliser le dispositif d'entrée virtuel 305 avec le deuxième objet virtuel 403, le deuxième objet virtuel 403 repositionne le dispositif d'entrée virtuel 305 dans une position plus proche du deuxième objet virtuel 403.

Par exemple, la détermination de l'intention peut être basée sur la sélection par l'utilisateur d'un bouton sur le dispositif d'entrée virtuel 305, tel qu'un bouton de requête, pour indiquer qu'une entrée utilisateur concernant l'objet virtuel 403 est prévue ou attendue.

En réponse à la détermination, le dispositif d'entrée virtuel 305 est détaché de la position d'origine à proximité de l'objet virtuel 303 et rattaché au deuxième objet virtuel 403 à une nouvelle position à proximité du deuxième objet virtuel 403.

Dans une implémentation où l'utilisateur revient à la première application correspondant à l'objet virtuel 303, le périphérique d'entrée virtuel 305 est relocalisé à la position d'origine à proximité de l'objet virtuel 303.

En d'autres termes, un périphérique d'entrée virtuel 305 est prévu au niveau de l'objet virtuel avec lequel l'utilisateur souhaite interagir à un moment précis.

Microsoft déclare que cette configuration offre aux utilisateurs une expérience cohérente et prévisible et dépend de l'application spécifique utilisée, plutôt que de l'emplacement de l'utilisateur dans l'environnement tridimensionnel 301, 401.

L'application spécifique avec laquelle l'utilisateur souhaite interagir est identifiée via divers mécanismes.

Dans un mode de réalisation, l'application spécifique avec laquelle l'utilisateur a l'intention d'interagir est basée sur l'objet virtuel ou le panneau actuel avec lequel l'utilisateur interagit. Par exemple, lorsque l'objet virtuel 303 est une liste de contacts, l'entrée peut rechercher un contact dans la liste de contacts. Dans le cas où l'objet virtuel 303 est une application professionnelle, l'entrée peut rechercher dans l'application professionnelle des mots-clés ou des documents. Dans le cas où l'objet virtuel 303 est une application de rapport d'incident, l'entrée peut être une explication pour remplir le rapport d'incident.

Ainsi, le périphérique d'entrée virtuel 305 est un périphérique d'entrée intelligent qui peut être détaché d'un objet virtuel spécifique en fonction de l'intention de l'utilisateur.

Dans un mode de réalisation, une entrée provenant d'une intention de découpler le dispositif d'entrée virtuel 305 de l'objet virtuel 303 peut être reçue. L'entrée peut être une entrée reçue via le dispositif d'entrée virtuel 305, un modèle de regard déterminé par la surbrillance 200, une sélection de l'icône détachée UNDOCK sur l'objet virtuel 303, 403, une entrée sur un bouton spécifique sur le dispositif d'entrée virtuel 304, etc. .

Le détachement, c'est-à-dire le désamarrage, du dispositif d'entrée virtuel 305 de l'objet virtuel 303 permet au dispositif d'entrée virtuel de basculer entre différents objets virtuels dans l'environnement 301, 401 tandis que l'utilisateur reste immobile. Une fois le dispositif d'entrée virtuel 305 connecté, des repères visuels ou des aides visuelles sont fournis.

Dans un mode de réalisation, le périphérique d'entrée virtuel 305 est détaché ou désamarré de l'objet virtuel 303 et retiré de l'environnement 401. Lors de l'appel suivant, le dispositif d'entrée virtuel 305 est réinstancié dans l'environnement 401 attaché à l'objet virtuel 303.

Dans d'autres modes de réalisation, le dispositif d'entrée virtuel 305 est détaché de l'objet virtuel 303 mais reste dans l'environnement 401 et attaché au nouvel et/ou prochain objet virtuel 403. Dans un autre SSL, le dispositif d'entrée virtuel 305 est détaché de l'objet virtuel 303 mais reste dans l'environnement 401 et reste à un emplacement spécifique dans l'environnement 410.

Dans un autre mode de réalisation, le dispositif de saisie virtuel 305 est détaché de l'objet virtuel 303 mais reste dans l'environnement 401 avec un décalage proche de l'utilisateur. Par exemple, le dispositif d'entrée virtuel 305 peut être tenu légèrement devant et à gauche ou à droite de l'endroit où se trouve l'utilisateur en fonction de la position et de l'orientation du casque.

Le périphérique d'entrée virtuel séparé 305 peut être appelé vers l'utilisateur ou vers des objets virtuels spécifiques 303, 403, par exemple via des commandes vocales ou d'autres mécanismes. Dans lequel, le dispositif d'entrée virtuel 305 est situé loin de l'utilisateur et permet à l'utilisateur de lui amener rapidement le dispositif d'entrée virtuel 304 sans avoir à se déplacer pour récupérer le dispositif d'entrée virtuel 306, et le dispositif d'entrée virtuel 307 est rapproché passivement. au confort de l'utilisateur, position ergonomique prête à l'emploi.

La figure 5 montre l'environnement multi-objectifs. L'environnement 501 comprend une pluralité d'objets virtuels, tels que des objets virtuels 303, 403, 503. Par exemple, l'environnement 501 peut être un environnement de bureau virtuel et inclure différents objets virtuels 303, 403, 503, chaque objet virtuel correspondant à une application différente au sein du bureau virtuel.

Par exemple, l'objet virtuel 303 peut être une application de messagerie, l'objet virtuel 403 peut être une application de navigateur Internet et l'objet virtuel 503 peut être une application de contacts.

Chaque objet virtuel 303, 403, 503 est une cible distincte du périphérique d'entrée virtuel 305. Dans des situations telles que lorsque l'utilisateur peut basculer périodiquement entre la fourniture d'une entrée aux objets virtuels 303, 403, 503, l'utilisateur peut souhaiter que le dispositif d'entrée virtuel 305 soit attaché à un emplacement spécifique, par exemple à proximité de l'utilisateur, et agisse comme un dispositif d'entrée virtuel 305. -périphérique d'entrée flottant à champ.

Par conséquent, un lien visuel 505 entre le dispositif d'entrée virtuel 305 et l'objet virtuel cible peut être fourni. Par exemple, la figure 5 montre un lien visuel 505 entre le dispositif d'entrée virtuel 305 et l'objet virtuel 303 indiquant qu'à un moment particulier, l'entrée reçue sur le dispositif d'entrée virtuel 304 générera une entrée vers l'objet virtuel 303.

Dans un mode de réalisation, le lien visuel 505 est un objet virtuel, tel qu'une ligne, qui connecte le dispositif d'entrée virtuel 305 à un objet virtuel cible et améliore la compréhension cohérente de l'entrée utilisateur. Dans d'autres implémentations, le lien visuel est un marqueur visuel sur l'objet virtuel cible, tel qu'un autocollant, une étoile, un point, etc.

La figure 6 montre le décalage entre les objets virtuels et les périphériques d'entrée virtuels.

Comme le montre la figure 6, le dispositif d'entrée virtuel 305 est prévu à une certaine distance 603 de l'objet virtuel 303. Lorsque l'un de l'objet virtuel 303 et du dispositif d'entrée virtuel 305 se déplace, une distance 603 est maintenue entre l'objet virtuel 303 et le dispositif d'entrée virtuel.

En d'autres termes, si l'objet virtuel 303 se déplace d'une distance spécifique par rapport à son emplacement d'origine, le périphérique d'entrée virtuel 305 se déplace également d'une distance spécifique par rapport à son emplacement d'origine pour maintenir la distance 603 entre l'objet virtuel 303 et le périphérique d'entrée virtuel 304.

De même, si le périphérique d'entrée virtuel 305 se déplace d'une distance spécifique par rapport à son emplacement d'origine, l'objet virtuel 303 se déplace également d'une distance spécifique par rapport à son emplacement d'origine pour maintenir la distance 603 entre l'objet virtuel 303 et le périphérique d'entrée virtuel 304.

La distance 603 est basée au moins en partie sur le type particulier de périphérique d'entrée que représente le périphérique d'entrée virtuel 305. Par exemple, un clavier virtuel est similaire à un clavier physique, avec des tailles et des formes similaires.

Lorsque l'objet virtuel 303 est déplacé, le dispositif d'entrée virtuel 305 peut se déplacer avec l'objet virtuel 303 ou suivre l'objet virtuel 303 afin de maintenir la distance 603 et l'angle 605 entre l'objet virtuel 303 et le dispositif d'entrée virtuel 303. En conséquence, un décalage entre l'objet virtuel 303 et le dispositif d'entrée virtuel 305 peut être prévu dans divers modes de réalisation.

Les figures 7A à 7D illustrent le champ de vision changeant des objets virtuels et des périphériques d'entrée virtuels.

Comme le montre la figure 7A, l'objet virtuel 303 et le dispositif d'entrée virtuel 305 sont complètement dans le premier champ de vision 705. En d'autres termes, chacun de l'objet virtuel 303 et du dispositif d'entrée virtuel 305 est entièrement visible par l'utilisateur.

Sur la figure 7B, chacun de l'objet virtuel 303 et du dispositif d'entrée virtuel 305 est complètement en dehors du deuxième champ de vision 710. Le champ de vision passe d'un premier champ de vision 705 à un deuxième champ de vision 710. Par exemple, l'utilisateur bouge sa tête provoquant le déplacement du casque, qui change, se met à jour, change, etc. d'un premier champ de vision 705 à un deuxième champ de vision 710. Dans d'autres mises en œuvre, le champ de vision lui-même peut ne pas avoir changé, mais l'objet virtuel 303 et le dispositif d'entrée virtuel 305 peuvent s'être déplacés en dehors du champ de vision, par exemple lorsque l'utilisateur a glissé par inadvertance l'objet virtuel 303 et le dispositif d'entrée virtuel 305 dans le premier champ de vision. champ de vision. Au-delà de 705.

Par conséquent, le deuxième champ de vision 710 présente un défi car l'utilisateur ne peut pas visualiser l'objet virtuel 303 et le dispositif d'entrée virtuel 305, ce qui rend difficile la fourniture d'une entrée à l'objet virtuel 303 via le dispositif d'entrée virtuel 304.

Par conséquent, la suppression de l'objet virtuel 303 et du périphérique d'entrée virtuel 305 du champ de vision peut être corrigée à l'aide de la méthode décrite dans le brevet.

La figure 7C montre un troisième champ de vision 715 dans lequel l'objet virtuel 303 et le dispositif d'entrée virtuel 305 sont progressivement réintroduits dans le champ de vision. Plutôt que de ramener virtuellement instantanément les objets virtuels 303 et les dispositifs d'entrée virtuels 305 à leurs positions d'origine dans le champ de vision, les objets virtuels 303 et les dispositifs d'entrée virtuels 305 sont progressivement réintroduits dans le champ de vision afin de maintenir une expérience plus confortable pour l'utilisateur. utilisateur.

La figure 7D montre le quatrième champ de vision 720 après que l'objet virtuel 303 et le dispositif d'entrée virtuel 305 ont été replacés dans le champ de vision. Le quatrième champ de vision 720 est sensiblement similaire au premier champ de vision 705 en ce sens que l'objet virtuel 303 et le dispositif d'entrée virtuel 305 ont été ramenés à leurs positions d'origine dans le premier champ de vision 705.

Brevets associés : Brevet Microsoft | Attachement de clavier intelligent pour la saisie en réalité mixte

La demande de brevet de Microsoft intitulée « Pièce jointe au clavier intelligent pour la saisie en réalité mixte » a été récemment publiée par l'Office des brevets et des marques des États-Unis.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!