Creusez des centaines de brevets AR/VR et explorez tous les aspects d'Apple XR

Nous avons également vu beaucoup de nouvelles concernant Apple XR récemment. Au lieu d'examiner diverses révélations, il est préférable de commencer par les brevets et de voir de quelles différentes manières le casque Apple XR peut jouer. Par conséquent, nous avons sélectionné parmi les centaines de brevets AR/VR d’Apple ces dernières années et compilé ceux qui peuvent directement déterminer et affecter l’expérience du produit XR. Bien entendu, ces brevets ne seront pas concentrés sur un seul produit, et nous ne pouvons pas vous dire exactement à quoi ressemble Apple XR, mais nous pouvons quand même en avoir un aperçu grâce aux brevets.

Lors du tri des brevets AR/VR d'Apple ces dernières années, nous avons principalement trouvé les fonctionnalités suivantes :

1) Certains brevets AR/VR proviennent de sociétés précédemment acquises, comme PrimeSense, Metaio, NextVR, SMI, Spaces, etc.

 ;

2) La lumière structurée, la portée LiDAR, la perspective VST, les boutons numériques, le zoom dynamique, etc. sont au centre de l'innovation d'Apple

 ;

3) Explorez une variété de solutions optiques différentes, guides de lumière diffractifs, projection rétinienne, etc.;

4) Plusieurs brevets ultérieurs décrivent une solution d'affichage AR/VR à groupe multi-objectifs, qui devrait être utilisée conjointement avec le réseau de caméras VST du casque.

catalogue

1, affichage optique
2, suivi oculaire
三、Biocapteur
Quatre, la technologie interactive
五，VSTPerspective
Six, l'audio spatial
Seven, système de positionnement
Huit, autres capteurs
九, conception d'apparence
十，UXDesign
Onze, scénario d'application

1, affichage optique

◎ Solution de balayage micromiroir LBS + guide d'onde optique diffractif : N° US20190377181A1 etc.

Il existe de nombreuses conceptions de chemin optique différentes, et il est même possible d'insérer un polariseur réfléchissant entre le réseau de phase et le guide d'onde. La particularité est que le faisceau lumineux peut être commuté pour modifier la polarisation relative de la lumière réfléchie et. lumière diffractée.

◎ Scan rétinien : No. Apple décrit un système de projection rétinienne AR/VR. Le principe est d'utiliser des micromiroirs pour scanner les pixels un par un sur la rétine de l'utilisateur. L'avantage est qu'il prend en charge le zoom dynamique, et que les objets et surfaces des images AR/VR peuvent le faire. être affiché dans la bonne position. Affiché en profondeur visuelle.

◎ Guide d'onde à lentille réglable

En 2018, Apple a exploré une solution d'affichage AR/VR basée sur un guide d'onde optique LCoS+. Le moteur optique est situé sur les côtés gauche et droit de la monture des lunettes, injectant des images dans le guide d'onde optique devant les yeux de l'utilisateur. De plus, cette solution comporte un objectif à mise au point réglable.

Dans un autre brevet (US11221488B1), Apple a souligné que la lentille focale peut utiliser une ou plusieurs lentilles à cristaux liquides, ou des lentilles remplies de liquide, des lentilles Alvarez, et se caractérise par un ajustement de la vision et un soulagement de la myopie, de l'hypermétropie, etc. . Problèmes de vision.

◎Guide d'onde optique holographique+Micro LED

N° US20180321432A1, Apple décrit dans le brevet une solution de guide d'onde optique combinée à un film optique holographique, utilisant une source de lumière Micro LED. La caractéristique est que la lumière peut être redirigée en fonction de l'angle de vue, formant ainsi une vision stéréoscopique. .

En plus du guide d'ondes optique holographique, Apple a mentionné une solution optique AR basée sur un combineur holographique réfléchissant dans un autre brevet de 2019 (n° US20190285897A1), qui présente des caractéristiques semi-réfléchissantes et semi-transparentes.

◎ Système optique catadioptrique

No. US20190146198A1 souligne une solution catadioptrique de système de connexion AR/VR difficile à apprendre, qui se caractérise par le fait qu'elle est composée de lentilles multicouches à haute transmission (en verre ou en plastique), qui peuvent inclure miroirs plan-convexes et miroirs plan-concaves. Possède des propriétés réfractives et réfléchissantes. Le but de l'adoption de la conception du chemin optique pliable est de réduire l'épaisseur du module optique monté sur la tête.

◎ Lentille à réglage fluide

Le numéro de brevet US20200096770A1 souligne un ensemble de lentilles AR/VR à réglage dynamique, caractérisé par l'ajout d'une couche intermédiaire fluide entre les lentilles pour obtenir des effets de mise au point dynamique et de réglage dioptrique. La couche de liquide est contrôlée par une pompe mécanique électronique. Plus il y a de liquide entre les lentilles, plus la distance est grande. Puisque les modules optiques des yeux gauche et droit sont indépendants, les distances focales des yeux gauche et droit peuvent être contrôlées indépendamment.

◎ Solution de réseau de microlentilles (Affichage Lenticulaire)

Dans les numéros de brevet US20200103669A1, US20210072556A1, US11143865B1, US11187914B2, US20220035160A1, US20220146820A1 et d'autres brevets, des solutions optiques à matrice basées sur plusieurs lentilles/microlentilles cylindriques (disposées en forme d'arc) sont mentionnées. que les objectifs à ouverture unique, aide à réduire la taille de le visiocasque possède un grand champ de vision, prend en charge la commutation dynamique de l'angle de vision et est adapté au module de perspective VST d'un réseau multi-caméras.

De plus, les méthodes d'optimisation de la solution optique sont décrites en détail, telles que l'utilisation d'un film à persiennes pour contrôler l'angle d'émission de lumière de l'écran d'affichage afin de réduire la diaphonie, ou l'ajout de réflecteurs pour modifier l'angle de perspective et « amener visuellement la scène en perspective ». plus proche "de l'utilisateur. pour afficher la profondeur/distance de la scène plus précise.

◎ Solution de lentille à phase géométrique multicouche

Dans le brevet n° US20210048674A1, Apple a proposé une solution optique pour afficher une image de fusion virtuelle et réelle en trois dimensions. Elle se caractérise par une structure de lentille multicouche qui affiche différents objets dans différents plans focaux et les fusionne en une image immersive et réaliste. scène en trois dimensions. La mise en œuvre de cette solution nécessite une grande attention aux exigences en matière d'optique, de suivi oculaire, d'algorithmes logiciels, etc., afin de simuler avec succès l'effet de zoom dynamique de l'œil humain.

◎ Verres qui changent de couleur

Dans un brevet de 2019 (US11029521B2), Apple a proposé une solution de lentille AR avec une couche photochromique superposée, caractérisée par une réduction de la transmission de la lumière sous une forte lumière ultraviolette, permettant aux images AR d'être affichées plus clairement à l'extérieur. Semblable aux lunettes à changement de couleur courantes, ce mécanisme peut remplacer certaines lunettes AR utilisant des cagoules.

◎ Solution optique de compensation de dispersion : Non.

Cette solution vise à améliorer l'efficacité optique et la qualité d'image des optiques proches de l'œil telles que l'AR. Elle se caractérise par l'utilisation d'une variété de matériaux holographiques comme support de réseau. Chaque matériau holographique a des vecteurs de réseau, des fréquences et des directions différents, de sorte qu'il peut le faire. Élimine bien l'aberration chromatique. Cette solution peut être combinée avec des polariseurs et des composants de projection pour former une solution optique.

◎ Améliorer la qualité de l'écran Micro LED

Afin de mieux contrôler la qualité de production des écrans Micro LED, Apple a conçu un équipement et une architecture de test spéciaux, affirmant qu'il peut capturer les pixels LED avec une luminosité inférieure aux normes (par exemple en utilisant le balayage optique de l'écran) avant de coller les Micro OLED aux panneaux. Un problème est découvert, la LED de rechange peut être directement remplacée pour une réparation plus efficace.

La Micro LED est une technologie d'affichage relativement avant-gardiste. En plus d'être utilisée dans les téléphones mobiles et les montres intelligentes, elle devrait également être utilisée dans les casques AR/VR à l'avenir.

◎ Perspective à 360°

Dans le brevet numéro US20210092292A1, Apple décrit une solution de visiocasque AR/VR équipée de 8 caméras. La particularité est que 8 caméras sont disposées autour du visiocasque (y compris le capot avant et le bandeau) pour la capture et la perspective à 360°. ° l'environnement environnant, améliorant ainsi la perception environnementale de l'utilisateur et lui permettant de voir même les angles morts.

◎ Écran principal + conception d'écran secondaire

Dans un brevet publié en 2021, Apple a conçu une solution de lunettes AR basée sur l'écran principal + l'écran secondaire. La particularité est que les écrans principal et secondaire peuvent fonctionner indépendamment. L'écran principal a une résolution plus élevée et est utilisé pour afficher l'écran principal. Fonctions AR. L'écran secondaire a une résolution inférieure et affiche principalement des informations simples, telles que des comptes à rebours, des événements, etc., et il y a un cercle d'indicateurs LED sur le bord le plus extérieur du cadre pour rappeler que l'AirTag est à proximité. L'avantage de cette conception est d'utiliser la surface limitée de l'écran de manière plus rationnelle tout en réduisant la puissance de calcul et la consommation d'énergie.

Dans le brevet numéro US11450297B1, Apple a conçu un système de rendu fovéal avec un écran principal et deux écrans secondaires (pouvant utiliser des panneaux flexibles ou rigides) sont disposés en arc qui épouse la courbe de la tête afin de se cacher. Aux limites de l'écran, Apple a ajouté une couche indépendante de structure de diffusion à l'objectif pour optimiser la connexion entre les écrans haute résolution et basse résolution.

Deuxièmement, le suivi oculaire

La technologie de suivi oculaire est un point clé mentionné à plusieurs reprises dans les brevets AR/VR d'Apple. Ses principales utilisations incluent : le rendu du regard, la réduction de la consommation d'énergie, la mise au point dynamique, la surveillance biologique, la détection de la vision, la saisie du regard, etc. De plus, le brevet décrit également en détail la mise en œuvre et l'optimisation du suivi oculaire, tels que :

• Solution proche infrarouge (peut capturer la dilatation de la pupille et le point de regard
) ;
• Une solution basée sur le flash rétinien directionnel
• Solution d'éclairage coaxial (la source de lumière à bande d'impulsion spécifique et le capteur d'image sont sur le même axe, l'avantage est qu'il peut capturer des images de pupilles plus lumineuses) ;
Compensation du retard de suivi des yeux et optimisation des effets.

Voici quelques-uns des plus distinctifs :

◎ N° US20200019238A1 : La saccade de l'œil humain est un phénomène courant, généralement plusieurs saccades par seconde (succade). Pendant la courte période pendant laquelle la saccade se produit, la sensibilité visuelle sera également temporairement réduite, ce qui la provoquera. être difficile à détecter d’une cécité temporaire. C'est précisément en utilisant cette fonctionnalité que le système peut ajuster le contenu de l'affichage sans que l'utilisateur ne le remarque, réduisant ainsi la consommation d'énergie et le risque de brûlure d'écran.

Cette solution doit être mise en œuvre en combinaison avec une technologie de suivi oculaire et peut utiliser des solutions de capteurs CV ou IR.

◎No. US20190339770A1 : Le brevet décrit une solution AR/VR à zoom mécanique basée sur le suivi du regard, qui peut changer la mise au point de l'image en fonction des changements du regard de l'utilisateur. Afin de compenser le retard du système de zoom, le brevet se concentre sur la description d'une technologie de prédiction du point de regard qui peut prédire à l'avance la trajectoire du mouvement de l'œil humain (le point d'atterrissage du balayage du globe oculaire) et pré-rendre l'image. L'avantage est qu'il peut rendre la commutation de mise au point plus fluide.

En 2018, Apple a déposé un brevet pour une solution de rendu fovéal pouvant atteindre une résolution 8K (zone visuelle centrale). En 2019, il y avait aussi des brevets Apple mentionnant des solutions de rendu fovéées (numérotées respectivement US20190172399A1, US20190180672A1), qui se caractérisent par l'utilisation de deux écrans (écran principal haute définition + écran secondaire basse définition). La résolution devrait atteindre 8K. , et l'écran ppi Entre 1000 et 2000.

◎ N° US20190133440A1 : indique une solution pour améliorer et optimiser la précision et la stabilité du suivi oculaire en identifiant l'œil dominant. L'œil dominant est également appelé œil dominant. Se concentrer sur l'analyse des données de l'œil dominant dans le suivi oculaire peut mieux aligner l'axe optique et l'axe visuel du globe oculaire, ce qui permet d'obtenir des résultats d'étalonnage meilleurs et plus rapides.

Un autre avantage de l'identification de l'œil dominant est qu'elle peut aider les utilisateurs à diagnostiquer les maladies oculaires liées à la vergence, telles que le strabisme ou l'amblyopie, et à optimiser la technologie de rendu des points de fixation sur cette base. Afin d'optimiser davantage l'adaptabilité du suivi oculaire à un large éventail de personnes, Apple a mentionné dans le numéro de brevet US11644896B2 que le système de suivi oculaire peut extraire les caractéristiques oculaires de différents utilisateurs comme paramètres de contrôle et calibrer dynamiquement le point de regard sur cette base. .

◎ Non. WO2020068447 : Apple a proposé un moyen d'ouvrir des applications AR/VR basé sur le suivi oculaire. Il se caractérise par une combinaison de gameplay vocal. Il suffit à l'utilisateur de regarder le logo de l'application cible et de dire "ouvrir". pour ouvrir l'application Le contrôle est naturel et assez rapide. Dans un autre brevet publié en 2021, Apple a également proposé une solution permettant de changer rapidement de zone de saisie de texte à l'aide de points de regard, vous permettant ainsi de remplir des formulaires et de saisir des informations personnelles plus rapidement en VR.

De l'avis d'Apple, le suivi oculaire peut également optimiser de manière dynamique l'enregistrement vidéo à la première personne, par exemple en utilisant le point de regard pour piloter la position de prise de vue de la caméra, en plaçant l'attention de l'utilisateur au centre de la vidéo et en déplaçant rapidement la caméra en fonction des changements de le point de regard (en utilisant un algorithme de lissage pour anti-tremblement). Cela conviendra très bien aux futures lunettes AR tous temps.

◎ N° US20200278539A1 : Afin d'économiser la consommation d'énergie du matériel de suivi oculaire, Apple a conçu dans le brevet une solution basée sur une caméra événementielle, qui se caractérise par le fait de s'allumer uniquement lorsque le mouvement oculaire est reconnu, plutôt que de s'allumer en continu. balayage. Une autre caractéristique de ce brevet est qu'il peut ajuster l'intensité lumineuse en fonction des informations biologiques de l'utilisateur. Lorsque l'utilisateur cligne des yeux un nombre de fois anormal ou reconnaît un enfant utilisateur, l'algorithme du système réduira la luminosité de la source lumineuse pour améliorer le confort visuel. .

Une autre solution d'économie d'énergie consiste à combiner les modes de suivi oculaire basse résolution et haute résolution pour identifier respectivement le mouvement relatif et la position précise des globes oculaires, et à les combiner avec des capteurs de tête pour localiser le point de regard.

◎ N° US10354136B2 : Afin d'améliorer la précision du suivi oculaire, la réduction de la dérive est une clé. Dans ce brevet, Apple introduit un système de lentilles spécial qui, selon lui, peut réduire la dérive du suivi oculaire. La solution est basée sur le lancer de rayons, qui peut modéliser le globe oculaire et plus encore en identifiant les données de la lumière atteignant l'œil humain et étant réfléchie.

Certains brevets de suivi oculaire proviennent également de la société SMI (SensoMotoric) acquise par Apple en 2017, comme US10437327B2, qui propose une solution pour capturer les points de regard via l'imagerie secondaire, qui se caractérise par la capture de globes oculaires clairs lors de la première imagerie. , utilisé pour localiser la position de la pupille, tandis que la deuxième imagerie a une résolution inférieure et est utilisée pour identifier les globes oculaires brillants. Une fois les deux données de capture combinées, les données de prédiction du point de regard peuvent être plus précises.

三、Biocapteur

Dans certains brevets, Apple a proposé d'ajouter des biocapteurs aux casques AR/VR pour détecter l'état physique du porteur et modifier le contenu affiché en conséquence. En termes de détails, le casque peut identifier des informations telles que la force, la température, l'humidité, le déplacement, l'EEG, la capacité, l'EMG et la fréquence cardiaque pour évaluer le stress psychologique et l'état de santé personnel, puis recommander des applications ou du contenu pour aider à se détendre en AR/VR. , et même Peut demander de manière proactive des informations médicales.

Dans un brevet de 2019, Apple a décrit une solution de suivi du visage, qui comprenait l'ajout d'une variété de biocapteurs aux casques et lunettes AR/VR, tels que PPG (photopléthysmographie), ECG (électrocardiogramme), GSR (signal cutané galvanique ), capteurs de pression, eField, capteurs thermiques et plus encore. L'appareil peut détecter l'état de santé de l'utilisateur en analysant une variété de mouvements complexes du visage tels que la mastication, les clignements des yeux et les rides du nez.

Quatre, la technologie interactive

1, geste aérien

Certaines des technologies gestuelles 3D d'Apple proviennent de PrimeSense, qu'elle a acquise en 2013. Il ressort de certains brevets associés que l'inventeur est un ancien employé de PrimeSense. Par exemple, dans un brevet, une solution de gestes 3D est introduite, qui permet aux utilisateurs d'utiliser des gestes de saisie, de poussée, de relâchement et d'autres pour faire fonctionner l'interface utilisateur 3D afin de jouer à des jeux ou de lire des vidéos.

Les gestes aériens sont une technologie courante et importante dans les brevets AR/VR d'Apple. Ils peuvent non seulement être utilisés pour les casques AR/VR, mais peuvent également être mis en œuvre sur iPhone, iPad, Mac et autres appareils.

Le système de gestes aériens d'Apple peut utiliser une variété de solutions, telles que la lumière structurée, les capteurs LiDAR, RVB, IR, les transducteurs à ultrasons, les capteurs VSWR, etc.

Par exemple, dans le brevet numéro US20210011289A1, Apple décrit une solution de visiocasque AR/VR qui prend en charge le positionnement Inside-Out. Elle se caractérise par le fait qu'elle est équipée d'une caméra RVB, d'un capteur ToF et d'un module LED IR, et prend en charge. suivi manuel et mesure de la distance de l'environnement 3D et de nombreuses autres fonctions.

2, gants somatosensoriels/intelligents

Apple a déposé plusieurs brevets pour les gants AR/VR, couvrant diverses solutions techniques, telles que l'ajout de capteurs magnétiques au bout des doigts des gants pour localiser les sources et capteurs magnétiques en détectant les changements et les interférences dans le champ magnétique. pour réaliser un positionnement gestuel. Des réseaux de capteurs de force flexibles et des matériaux conducteurs de lumière peuvent être utilisés pour détecter de petites interactions tactiles et des changements dynamiques dans la force de préhension.

De plus, une solution de gant basée sur le positionnement IMU est également proposée. La particularité est que le capteur IMU est intégré dans la partie jointure du gant, ce qui peut détecter avec précision le mouvement et la position de la paume et des doigts sans être dérangé. perturbé par des facteurs tels que l'occlusion, il peut donc identifier l'action des croisements de doigts.

Dans le brevet numéro US11397486B2, Apple a également proposé un gant VR qui utilise des ondes ultrasonores pour reconnaître les gestes. Il se caractérise par la capacité de reconnaître la pression exercée par la paume de l'utilisateur et l'épaisseur des doigts.

En plus du suivi des gestes, Apple espère également donner aux gants AR/VR un retour somatosensoriel (n° US10481688B1, US20200257362A1) basé sur des technologies telles que la résistance au frottement et des patchs flexibles pour simuler le « toucher » de la mer, des vagues, des arbres, plages, La sensation des textures comme le volant.

Dans un autre brevet de 2020, Apple a décrit une solution de gant flexible au toucher, basée sur un matériau en tissu. La caractéristique est que la partie en tissu peut se dilater ou se contracter pour s'adapter aux utilisateurs ayant différentes formes de mains.

3, bracelet/montre intelligente

Dans un brevet, Apple décrit une solution permettant d'utiliser une montre intelligente pour contrôler les jeux VR. Elle se caractérise par une détection cutanée, qui peut déduire les mouvements des articulations de la main en comparant et en analysant les images des veines.

Dans des brevets tels que US20210303068A1, Apple a également proposé une solution pour identifier les mouvements de contact des deux mains sur la montre intelligente via la caméra CV, UWB, EMG, RF, circuits de détection, etc., vous permettant d'utiliser un doigt sur l'autre. votre paume pour simuler le mouvement du curseur, le glissement, l’ouverture ou d’autres commandes.

En fait, Apple Watch a lancé une fonction de reconnaissance gestuelle (AssistiveTouch) en 2021, qui peut reconnaître des mouvements tels que serrer le poing et pincer les doigts, vous permettant de contrôler l'interface de la montre avec des micro-mouvements d'une seule main. À l’avenir, cette forme d’interaction pourrait être combinée avec des casques AR/VR pour permettre directement une interaction gestuelle naturelle.

4, bague intelligente

Actuellement, la principale méthode d'interaction pour AR/VR sur le marché est la poignée, suivie des gestes. Des entreprises telles que Google, Meta et Apple étudient l’utilisation d’anneaux intelligents pour contrôler la technologie AR/VR. En particulier dans les brevets d'Apple liés à l'AR/VR (US20190004604A1, US10444834B2, etc.), on trouve souvent des introductions aux anneaux intelligents, impliquant diverses conceptions.

Par exemple : des bagues en forme de U (matériau élastique/flexible, taille réglable), des bagues, des doigtiers (suivant le mouvement de cinq doigts), ou des modèles tendance en spirale, à charnière et autres. Il présente une apparence extensible et peut être utilisé dans plusieurs unités ou collaborer avec des périphériques tels que l'Apple Pencil.

Les caractéristiques incluent une conception sans fil, un positionnement optique du tissu et plusieurs capteurs : pavé tactile, communication NFC, biocapteur, capteur de pression SMI, aiguille accélératrice et autres appareils, qui peuvent reconnaître le contact/pincement avec la peau, le tapotement et d'autres interactions micro-gestuelles, et prennent en charge Le positionnement 6DoF peut même identifier la température ambiante, la forme et la texture de la surface physique, ainsi que les signaux biologiques tels que la fréquence cardiaque, la pression artérielle et l'oxygène dans le sang. Certains brevets mentionnent également que la bague intelligente peut être équipée de certaines fonctions intelligentes proches de celles de l'Apple Watch, comme des boutons numériques, le déverrouillage des ordinateurs Mac, etc.

5, interaction avec le stylet

Dans certains brevets, Apple a proposé d'utiliser un stylet (tel que l'Apple Pencil) pour créer des objets 3D dans l'espace, ce qui est très différent des solutions traditionnelles avec stylet pour écran tactile.

Par exemple, le numéro US20180018057A1 souligne une conception de stylet basée sur une saisie de surface non électronique. La caractéristique est que le stylet dispose d'un capteur de positionnement intégré qui peut identifier le contenu écrit n'importe où.

Dans un brevet de 2020, Apple a décrit un stylet prenant en charge le positionnement 6DoF. Il se caractérise par la prise en charge du retour de force de cisaillement. Lorsque les utilisateurs tiennent le stylet, ils peuvent ressentir des sensations physiques simulées telles que les caractéristiques de surface, de volume et de texture interne.

Dans un autre brevet, Apple a également proposé un simple adaptateur de stylet qui apporterait une sensibilité à la pression à l'Apple Pencil (similaire aux touches de déclenchement d'un contrôleur VR) et permettrait aux utilisateurs d'utiliser le Pencil pour saisir des informations dans l'espace. De plus, le stylet peut également être utilisé comme contrôleur pour jouer à des jeux (US20230042447A1), tels que taper, faire défiler, faire pivoter, feuilleter et glisser en AR/VR.

6, clavier virtuel

N° US10237509B1 : Afin d'aider les utilisateurs AR/VR à saisir rapidement du texte, Apple a proposé une conception de clavier virtuel dans le brevet. Le concept est de superposer une couche de clavier virtuel sur le clavier physique par rapport à la caméra qui voit directement à travers le clavier. touches, le clavier virtuel visuellement Cela devient plus clair. En termes de matériel de saisie, la solution est compatible avec les claviers physiques, les claviers tactiles pour tablettes et les gants de suivi des gestes.

N° US20200088999A1 : ce brevet envisage une solution de clavier virtuel basée sur la projection. Il se caractérise par un dispositif de projection sur le casque, qui peut projeter le clavier sur une surface physique telle que le bureau et utiliser un capteur 3D pour identifier les pressions de l'utilisateur. . Actions du clavier. Il convient de noter que le casque mentionné dans ce brevet prend également en charge d'autres interactions avec des écrans externes, telles que l'ajout de boutons, de capteurs tactiles et d'écrans tactiles au boîtier, permettant aux utilisateurs de l'utiliser rapidement sans porter le casque.

Dans un autre brevet (US10890952B2), Apple a également mentionné une solution de projection de surface interactive similaire, caractérisée par la transformation de n'importe quelle surface physique en un menu exploitable, comme la superposition d'une fonction de calculatrice sur un ordinateur portable, ou il s'agit d'une interface utilisateur interactive superposée au bras.

Cinq, perspective VST

Comme on peut le voir dans certains brevets, une partie de la technologie VST d'Apple est la technologie perspective obtenue de la société VRVANA qu'ils ont acquise en 2017. La technologie VRVANA se caractérise par la correction de la distorsion de l'image de la lentille optique, et le retard de perspective VST n'est que de quelques millisecondes. Dans un brevet publié en 2019 (l'un des inventeurs est Bertrand Nepvue, fondateur de VRVANA), Apple a décrit une solution MR basée sur le principe de l'incrustation chroma en temps réel, qui peut remplacer l'arrière-plan des personnes dans des scènes réelles par du contenu virtuel. similaire au remplacement de l'écran vert.

De plus, Apple a souligné dans un autre brevet en 2019 (US10330935B2) que le casque peut être équipé de deux caméras en perspective haute et basse résolution. Cette conception utilise la technologie de rendu du point de regard de VR pour réduire les marges de résolution de perspective de l'utilisateur. la partie légère pour optimiser les tâches informatiques et réduire les coûts matériels.

Le brevet souligne également que le casque AR/VR capture l'environnement tridimensionnel environnant grâce à deux ensembles de caméras RVB, prétendant être capable de simuler le système visuel humain.

Six, audio spatial

Apple a également déposé un certain nombre de brevets pour l'audio spatial, comme certaines solutions basées sur la HRTF (fonction de transfert liée à la tête), l'acoustique géométrique et d'autres technologies, ou la simulation de champs sonores intérieurs grâce au traçage de rayons sonores en temps réel. En outre, nous avons également exploré une solution pour prédire l'audio à deux canaux basée sur les informations de positionnement de la tête, caractérisée par un ajustement dynamique de la distance et de la direction simulées du son en fonction du mouvement de la tête de l'utilisateur pour améliorer l'expérience des jeux VR RPG, d'horreur. films et autres contenus.

Le document US2022032965A1 décrit une solution permettant de localiser l'orientation de l'utilisateur en fonction de la direction de la tête vers le torse, similaire au mode d'orientation du corps des AirPods.

Dans un brevet de 2021, Apple a souligné que les casques AR/VR peuvent être équipés de plusieurs réseaux de microphones, prendre en charge la détection audio directionnelle et peuvent calculer la source d'un son dans l'environnement et le marquer ou l'inviter visuellement. Une telle fonction peut bien compléter l’audition humaine et aider les utilisateurs à identifier les sons au-delà de la plage normale de perception (un concept similaire peut également utiliser la RA pour marquer des gaz, des signaux électromagnétiques, etc. invisibles à l’œil nu).

Dans un brevet de 2023 (US2023014111A1), il a également été souligné que des filtres spatiaux peuvent être utilisés pour ajouter des indices spatiaux à l'audio binaural en fonction de l'environnement de l'utilisateur, rendant l'expérience réelle de l'audio spatial plus immersive.

Seven, système de positionnement

◎Positionnement par ultrasons

Actuellement, le positionnement VR grand public est basé sur des solutions optiques, telles que l'infrarouge, le CV, etc. Dans le brevet numéro US20190094955A1, Apple a proposé une solution de positionnement par ultrasons basée sur le principe du temps de vol, affirmant qu'elle pouvait mesurer la distance relative entre le capteur et les murs, les cibles et les obstacles, générer une carte 3D de l'environnement environnant, et localiser les contrôleurs, les casques, détecter les obstacles et identifier les surfaces.

◎ Télémétrie/numérisation 3D

Apple a mentionné à plusieurs reprises dans ses brevets que les casques AR/VR peuvent être équipés de plusieurs capteurs 3D, notamment : des capteurs de lumière structurée, des modules binoculaires de capteur d'image 3D (composés de 2 caméras ou plus), du LiDAR et des capteurs radio 3D, infrarouge. ou caméras CV, etc. Ces capteurs peuvent être utilisés pour localiser des espaces et identifier des obstacles.

Huit, autres capteurs

◎ Réseau multi-capteurs

En 2021, l'USPTO a dévoilé un brevet AR/VR clé d'Apple (US20210165229A1), qui décrit un casque AR/VR divisé équipé de plusieurs caméras et capteurs. Pourquoi est-ce important ? Tout d’abord, les inventeurs du brevet sont des personnalités clés d’Apple, telles que le co-inventeur de HoloLens, Avi Bar-Zeev, et Geoff Stahl, qui travaille chez Apple depuis plus de 20 ans. Récemment, Bloomberg a révélé que Stahl était désormais responsable du système d'exploitation xrOS, une application clé du projet AR/VR d'Apple.

De plus, dans le numéro de brevet US20210294104A1, Apple envisage également que les casques AR/VR puissent être équipés de davantage de capteurs, tels que des caméras, des modules de suivi oculaire, un lidar, des modules de reconnaissance d'empreintes digitales, des modules de reconnaissance gestuelle et des capteurs à ultrasons, des capteurs de distance optiques. , capteurs de scanner rétinien, capteurs de température, EMG, capteurs d'oxygène, capteurs de fréquence cardiaque, capteurs de débit sanguin, capteurs résistifs, jauges de contrainte, accéléromètres, capteurs magnétiques, potentiomètres, etc.

◎ Capteur Hall (No. US10557724B1)

Habituellement, les casques AR/VR utilisent des capteurs de distance pour détecter l'état de port. Après avoir détecté que l'utilisateur porte le casque, le système sera allumé et après avoir détecté que l'utilisateur a retiré le casque, il passera en veille. État. Par rapport aux capteurs de distance, les capteurs Hall économisent davantage d'énergie. Apple espère utiliser plusieurs capteurs Hall et mécanismes magnétiques dans le casque pour déterminer l'état de port en détectant l'angle de rotation de l'appareil. En fait, les écouteurs Bluetooth d'Apple AirPods utilisent également des capteurs Hall.

Neuf, design d'apparence

◎ Bouton numérique

Apple a mentionné l'application de la conception de boutons numériques dans les casques AR/VR dans plusieurs brevets (tels que US20210089136A1). En fait, le bouton numérique est une méthode d'interaction classique pour les produits Apple. Il est déjà apparu dans les casques Apple Watch et AirPods Max. Lorsqu'il est utilisé dans les casques AR/VR, il peut régler le volume, la luminosité de l'écran et même basculer entre AR et. Mode VR.

Il est intéressant de noter que dans le brevet numéroté US20230162929A1, Apple a souligné que le bouton numérique peut prendre en charge des opérations plus complexes, telles que la combinaison de plusieurs actions de rotation pour déclencher des commandes combinées afin d'obtenir des interactions plus riches.

◎Matériaux textiles intelligents et flexibles

À l'heure actuelle, AR/VR utilise principalement un emballage en tissu sur la coque extérieure, et la conception en tissu conducteur n'a pas encore été appliquée. Dans le brevet numéro US20190191557A1, Apple a proposé une solution de tissu intelligent et flexible, qui comprend des câbles conducteurs rainurés intégrés et peut être utilisée dans des appareils portables tels que des brassards et des lunettes AR.

◎Caméra cachée

Les éléments essentiels des casques AR/VR sont des capteurs optiques et des caméras, qui sont principalement utilisés pour détecter l'environnement, le positionnement et la reconnaissance des gestes. Le port de lunettes AR 24 heures sur 24 peut entraîner un fonctionnement trop long des caméras et des capteurs des lunettes, provoquant le mécontentement des autres personnes autour de vous. Afin de rendre la caméra plus cachée, Apple a proposé dans le brevet un revêtement de miroir unidirectionnel transmettant la lumière infrarouge (n° US20190353836A1). Le principe est similaire au revêtement de miroir sans tain couramment utilisé dans les salles d'enquête de police. peut passer à travers la lumière infrarouge (n'affecte pas le positionnement SLAM), la caméra interne n'est pas visible de l'extérieur.

◎ Commande tactile sur une grande surface sur le boîtier

Dans le brevet numéro US20210089150A1, Apple a proposé un boîtier d'affichage tactile AR/VR de grande surface, caractérisé par le fait qu'il est équipé de capteurs, de boutons coulissants, de boutons et d'autres méthodes de fonctionnement pour prendre en charge un contrôle externe flexible.

Dans d'autres brevets, Apple a également mentionné une sorte de solution de bouton et de curseur tactile « invisibles » qui n'est pas facilement perceptible à l'œil nu pour optimiser la conception esthétique des casques AR/VR.

◎ Boîte d'affichage de la tête AR

Apple a proposé une conception de boîtier d'affichage de tête AR/VR plug-in dans plusieurs brevets. La caractéristique est que le téléphone mobile peut être directement inséré dans le cadre de l'objectif pour afficher le contenu devant les yeux de l'utilisateur. Les branches peuvent également être équipées de capteurs tactiles pour faire fonctionner les interfaces AR/VR. Dans un brevet mis à jour en 2022 (US11258891B2), de nouvelles fonctionnalités ont également été ajoutées : prise en charge de la commutation de mode AR (mode VST)/VR.

Par rapport aux casques AR/VR intégrés, l'avantage des boîtiers de casque est qu'ils sont moins coûteux, peuvent utiliser de manière flexible les iPhones existants et peuvent même protéger la confidentialité de l'affichage des téléphones mobiles. Cependant, à en juger par une série de révélations, il semble qu'Apple ne lancera pas un tel produit pour le moment.

◎Lunettes AR modulaires

Dans un brevet publié en 2020, Apple a conçu une conception de produit de lunettes AR relativement avancée, caractérisée par des lentilles, des montures et d'autres pièces hautement modulaires et pouvant être remplacées et démontées, par exemple, en fonction de différents besoins. et scénarios. Différents composants, tels que des modules d'affichage haute résolution, des batteries longue durée, des composants plus petits, etc. Il convient de noter que la monture et les branches des lunettes AR adoptent une structure à tenons et mortaises enfichable, afin que les utilisateurs puissent assembler eux-mêmes des lunettes AR complètes sans l'aide d'outils supplémentaires. Ce gameplay est similaire au mécanisme de bracelet remplaçable de l'Apple Watch, permettant aux utilisateurs de personnaliser le produit.

◎ Système audio AR/VR configurable et extensible (No. US20200089008A1)

Les écouteurs des écouteurs sont constitués d'un matériau en mousse déformable, qui peut être gonflé et dégonflé pour basculer entre les modes de réduction de bruit et de pénétration pour changer le mode audio. Dans la scène VR, vous pouvez rapidement passer à l'audio immersif (mode de réduction du bruit), tandis que dans la scène AR, il passe à l'audio ouvert, qui joue le son via le principe de conduction osseuse.

◎ Mode protection de l'objectif

Les ingénieurs d'Apple ont imaginé un mécanisme de protection dans un brevet publié en décembre 2019 pour empêcher les verres des lunettes AR de se briser lors d'un impact dû à une chute. Cette solution peut détecter l'état des lunettes AR grâce à des capteurs. Lorsque les lunettes tombent librement et sont heurtées, le mode de protection du système optique sera activé, c'est-à-dire que les lentilles concernées seront déplacées et de l'air ou un liquide spécial sera rempli. entre les lentilles pour former un tampon, ce qui réduit les pertes accidentelles causées par les collisions.

Dans le brevet numéroté US20210302745A1, Apple a également proposé un système d'auto-vérification du module optique lorsqu'une chute, une collision, etc. est reconnue, il détectera automatiquement le désalignement des composants internes et restaurera automatiquement les valeurs par défaut. .

Fait intéressant, dans un autre brevet (US11340466B2), Apple a également proposé une conception de monture élastique, caractérisée par des branches déformables qui peuvent agir comme un tampon en cas de choc, empêchant ainsi les guides d'ondes optiques et autres déformations du module optique.

◎Optimisation de la sangle du casque

No. US20190072772A1 : Habituellement, les utilisateurs doivent ajuster les sangles en fonction de la forme de leur tête avant de porter le casque AR/VR. Cela nécessite un processus, il ne peut donc pas être utilisé comme un téléphone mobile. Lorsque plusieurs personnes partagent un casque AR/VR, tout le monde doit ajuster les sangles, ce qui peut s'avérer fastidieux.

Afin de simplifier le processus de port du casque, Apple décrit dans le brevet un système de cerclage mécanique, qui se caractérise par la reconnaissance des paramètres de la tête de l'utilisateur et par l'adaptation automatique à la taille. Il convient de noter que le système s'ajustera également en fonction des gestes et du contenu monté sur la tête, comme l'aide au retrait et au port des actions grâce à la position des mains de l'utilisateur lors de l'exécution de contenu qui n'exige pas que l'utilisateur bouge (comme par exemple). regarder des films), les sangles se détendront.

De plus, Apple a également proposé un système de bandeau pliable (US11320659B1) dans un brevet, qui comporte une combinaison de sangles flexibles et de modules magnétiques. Il se caractérise par un rangement facile et prend en charge une extension modulaire (par exemple, fixer des caméras, piles, haut-parleurs et autres composants au bandeau).

十、UX design

◎ Système de refroidissement actif

No. US20190075689A1 : Afin d'améliorer l'efficacité de la dissipation thermique, Quest 2 a utilisé des ventilateurs pour dissiper activement la chaleur. En revanche, la solution décrite dans le brevet d'Apple offre une meilleure ventilation et se caractérise par deux ventilateurs sur les côtés supérieur et inférieur du casque pour obtenir une convection supérieure et inférieure afin de refroidir les parties internes.

De plus, le système de ventilation peut ajuster dynamiquement l'intensité en fonction de la tâche de rendu, et peut également souffler de l'air sur le visage pour refroidir la peau.

Dans un brevet de 2022, Apple a en outre proposé un système de contrôle du bruit du ventilateur, caractérisé par l'identification du bruit du système de refroidissement et l'ajustement de la vitesse du ventilateur en temps réel pour réduire le bruit afin d'éviter de déranger les utilisateurs et les appels téléphoniques. et l'assistant vocal Siri. Il est intéressant de noter que le volume du ventilateur peut également être augmenté pour alerter l'utilisateur de la présence d'obstacles autour de lui.

◎ Pièces optiques autonettoyantes

Nous savons que les casques AR/VR sont généralement basés sur des structures optiques précises. Si de la poussière ou des débris pénètrent dans l'espace entre l'objectif et l'écran d'affichage, ils sont susceptibles d'entraver la propagation de la source lumineuse, affectant ainsi l'affichage. effet. Cependant, les composants optiques sont généralement difficiles à démonter et à nettoyer manuellement. C'est pourquoi Apple a présenté une solution optique autonettoyante dans un brevet publié en 2021. Le concept est assez simple : lorsqu'un problème survient, il détecte les particules de poussière et les élimine en toute sécurité. de vue de l'utilisateur.

◎ Système d'adaptation faciale

No. US20200081259A1 : Apple a proposé un système de support facial modulaire, caractérisé par l'utilisation de matériaux rétractables, de matériaux gonflables et de matériaux en caoutchouc élastique. L'avantage est qu'il peut être ajusté en fonction des besoins de différentes personnes. structures du visage (front, joues, tempes), même si le masque est mal aligné en raison des secousses du casque, l'ajustement peut être ajusté pour améliorer le confort.

◎ Authentification et déverrouillage multi-appareils

Dans un brevet appelé « Authentication Device Assisted User Authentication » (US10893412B2), Apple a souligné une solution d'authentification multi-appareils à proximité qui permet aux utilisateurs de porter des casques AR/VR pour déverrouiller directement leur iPhone, éliminant ainsi le besoin de porter plusieurs fois des étapes pour retirez le casque et déverrouillez le téléphone. Cette conception de liaison multi-appareils a été adoptée sur Apple Watch, vous permettant de déverrouiller rapidement votre iPhone ou votre ordinateur Mac. En plus d'utiliser la fonction de déverrouillage, vous pouvez également verrouiller des appareils tels que des téléphones portables à l'aide du visiocasque, et vous pouvez également configurer un mécanisme de vérification en deux étapes.

Dans un autre brevet numéroté US20210105614A1, Apple a également mentionné un système similaire d'authentification et de déverrouillage multi-appareils, permettant aux utilisateurs d'utiliser des casques AR/VR pour déverrouiller les appareils Apple à proximité.

◎ Affichage de fusion amélioré

No. US10347050B1, Apple a proposé une solution pour utiliser la RA pour déformer les images afin d'améliorer l'effet d'affichage. Sa caractéristique est d'utiliser la RA pour modifier les effets visuels de l'environnement réel en identifiant les angles morts visuels de l'utilisateur, permettant ainsi le contenu qui est à l'origine. invisible pour l'utilisateur, peut également être vu sous une forme ou une autre. La solution est basée sur la technologie de suivi oculaire et nécessite l'utilisation de la perception de la profondeur 3D pour capturer la scène environnante.

◎ Chargement par induction sans fil du casque

Dans le numéro de brevet US20200081490A1, Apple a proposé un support de charge inductif adapté aux casques AR/VR. La particularité est que le casque peut être directement accroché dessus pour l'affichage, ou que la batterie peut être séparée et placée sur le support pour le chargement. L'avantage de cette conception est qu'elle permet d'obtenir un beau stockage et un affichage de l'affichage principal, et l'affichage principal peut être chargé lorsqu'il n'est pas utilisé, ce qui permet aux utilisateurs de le prendre et de l'utiliser facilement à tout moment.

◎AirPlay

Dans plusieurs brevets, Apple a proposé une solution pour relier les casques AR/VR aux ordinateurs, ordinateurs portables et téléviseurs. Le concept est similaire à la fonction AirPlay existante, qui peut rapidement synchroniser les écrans des autres appareils environnants dans le casque (viens à). Lire des vidéos, charger des documents, envoyer des e-mails, etc.).

◎ Système de communication à ondes millimétriques

Dans un brevet de 2020, Apple a proposé une solution d'interaction multi-personnes basée sur des ondes millimétriques, qui se caractérise par la réalisation d'une communication sans fil à grande échelle avec des appareils électroniques via des stations de base à ondes millimétriques et plusieurs stations de base relais. Par exemple, la diffusion de contenu vers plusieurs. Casques AR/VR, etc.

Onze, scénarios d'application

Dans certains brevets, Apple a discuté en profondeur de divers scénarios d'application de l'AR/VR, tels que le visionnage de films immersifs, la navigation AR, le système d'appel vidéo AR, etc.

◎ Appel AR (Brevet n° 20160344972)

Basé sur la capture de caméra et la génération de modèles 3D, il est utilisé pour réaliser des appels AR à distance immersifs. Cette solution peut être utilisée sur des appareils tels que l'iPad et l'Apple TV. Sa particularité est de pouvoir capturer l'appelant et les objets qu'il détient et les présenter dans la vidéo sous forme virtuelle.

Il sera également combiné avec des caméras externes, équipées de capteurs d'image RVB, de capteurs de profondeur, de capteurs IR, etc., capables de reconnaître les gestes en l'air et de simplifier le contrôle des menus.

◎ Assistant Virtuel

Il dispose de fonctionnalités contextuelles, utilisant des ordinateurs pour générer des caractères ou des images pour les invites, la navigation et l'affichage d'informations supplémentaires pour aider les utilisateurs à utiliser l'AR/VR. En plus de l'assistance visuelle, les assistants virtuels prennent également en charge l'interaction vocale.

◎Navigation AR

N° US20170213393A1 : le casque AR/VR d'Apple peut prendre en charge la navigation visuelle, comme le marquage d'informations supplémentaires sur les bâtiments dans la scène réelle, les points d'intérêt ou l'utilisation de l'AR pour marquer les haut-parleurs dans la voiture et d'autres fonctions. De plus, l'interaction gestuelle est prise en charge. Le brevet provient de la technologie de Metaio. En plus des solutions de navigation AR, Metaio a également déposé des brevets pour la reconnaissance de l'environnement AR (capture d'environnement 3D et reconnaissance de données météorologiques, temporelles, coordonnées, etc.).

Dans un autre brevet déposé en 2018, Apple a également proposé une solution de carte AR 3D pouvant être visualisée sous plusieurs angles.

◎ Diffusion sportive AR

No. US20200175275A1 : ajoutez du contenu AR interactif aux retransmissions de matchs sportifs pour enrichir l'expérience visuelle. La particularité de cette solution est qu'elle nécessite l'utilisation de dispositifs externes pour détecter les points d'intérêt du public et afficher des informations supplémentaires sur cette base. Par exemple, lorsque vous êtes intéressé par les chaussures d'un basketteur, le système affichera des informations sur les chaussures. sur le téléviseur, le modèle de sneaker peut également être affiché sous forme de RA, permettant aux téléspectateurs de le voir sous plusieurs angles.

◎ Incrustation chromatique à faible latence

Zoom et d'autres logiciels vidéo prennent déjà en charge la fonction de remplacement d'arrière-plan, et dans le casque de réalité mixte VST, le remplacement d'arrière-plan peut également être bien appliqué, par exemple en remplaçant les personnes et les objets devant vous par le style d'arrière-plan réel dans un arrière-plan virtuel dans temps réel. La solution brevetée d'Apple est différente des solutions habituelles de remplacement d'arrière-plan dans la mesure où elle est plus tridimensionnelle et peut présenter un arrière-plan 3D plutôt qu'une image 2D.

◎ Collaborez avec l'ordinateur

Dans certains brevets, Apple a mentionné l'application de l'AR/VR dans des scénarios de bureau, comme l'utilisation d'un écran virtuel avec un ordinateur Mac pour étendre la zone d'affichage de l'écran de l'ordinateur, ou l'affichage du contenu de l'écran de l'ordinateur dans un casque. affichage pour protéger la confidentialité des utilisateurs, pour empêcher la surveillance de l'écran.

◎ Téléphone portable, etc. connecté à l'écran principal AR/VR (No. US20190065027A1)

Décrit une certaine solution d'interaction tactile partagée, qui utilise des appareils tels que des téléphones mobiles dotés de tablettes tactiles, de boutons tactiles et d'écrans pour contrôler le contenu affiché par les casques AR/VR. En d’autres termes, l’utilisation de l’iPhone comme contrôleur pour un casque AR/VR peut être considérée comme un autre moyen d’interaction outre les gestes et les contrôleurs, et peut être bien intégrée à la famille d’appareils Apple.

◎ Technologie d'encodage/décodage vidéo 360°

Le brevet n° 20190004414 présente une résolution et un format de projection adaptatifs. Il se caractérise par plusieurs schémas de configuration d'encodage prédéfinis. Vous pouvez choisir d'insérer ou non des images en fonction de l'effet d'imagerie, améliorant ainsi la qualité de rendu des vidéos à 360° et MR.

Bien que nous ayons ces brevets, ils ne révèlent qu'une petite partie du développement de l'appareil XR d'Apple, il n'y a donc aucun moyen de déterminer quel sera l'apparence et les fonctionnalités finales. Cet article n'est qu'un point de départ, vous donnant quelques indices et inspirations à travers ces brevets. L’appareil XR d’Apple n’a pas encore été annoncé et nous sommes impatients de lui donner un aperçu à la WWDC23.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!