Entdecken Sie Hunderte von AR/VR-Patenten und erkunden Sie alle Aspekte von Apple XR

Wir haben in letzter Zeit auch viele Neuigkeiten über Apple XR gesehen, anstatt sich verschiedene Enthüllungen anzusehen, ist es besser, mit Patenten zu beginnen und zu sehen, welche unterschiedlichen Möglichkeiten das Apple XR-Headset haben kann. Deshalb haben wir in den letzten Jahren aus Hunderten von AR/VR-Patenten von Apple ausgewählt und diejenigen zusammengestellt, die das XR-Produkterlebnis direkt bestimmen und beeinflussen können. Natürlich werden diese Patente nicht auf ein Produkt konzentriert sein, und wir können Ihnen nicht genau sagen, wie Apple XR aussieht, aber wir können durch die Patente trotzdem einen Einblick in das Gerät bekommen.

Bei der Durchsicht der AR/VR-Patente von Apple in den letzten Jahren sind uns vor allem folgende Merkmale aufgefallen:

1) Einige AR/VR-Patente stammen von zuvor erworbenen Unternehmen wie PrimeSense, Metaio, NextVR, SMI, Spaces usw.;

2) Strukturiertes Licht, LiDAR-Bereich, VST-Perspektive, digitale Regler, dynamischer Zoom usw. stehen im Mittelpunkt der Innovation von Apple;

3) Entdecken Sie eine Vielzahl verschiedener optischer Lösungen, diffraktiver Lichtleiter, Netzhautprojektion usw.;

4) Mehrere spätere Patente beschreiben eine AR/VR-Anzeigelösung mit mehreren Linsengruppen, die voraussichtlich in Verbindung mit dem VST-Kamera-Array des Headsets verwendet wird.

Katalog

1, optische Anzeige

2, Eyetracking
三、Biosensor
Viertens interaktive Technologie
五，VSTPerspective
Sechs, räumliches Audio
Sieben, Positionierungssystem
Acht, andere Sensoren
九, Erscheinungsbilddesign
十，UXDesign
Elf, Anwendungsszenario
• 1, optische Anzeige

◎ LBS-Mikrospiegel-Scanlösung + diffraktiver optischer Wellenleiter:

Nr. US20190377181A1 usw.

Es gibt viele verschiedene optische Pfaddesigns, und es ist sogar möglich, einen reflektierenden Polarisator zwischen dem Phasengitter und dem Wellenleiter einzufügen. Die Besonderheit besteht darin, dass der Lichtstrahl umgeschaltet werden kann, um die relative Polarisation des reflektierten Lichts zu ändern gebeugtes Licht.

◎ Netzhautscan:

US10681328B1

Apple beschreibt ein AR/VR-Netzhautprojektionssystem, das Mikrospiegel verwendet, um Pixel einzeln auf die Netzhaut des Benutzers zu scannen. Der Vorteil besteht darin, dass es dynamisches Zoomen unterstützt und Objekte und Oberflächen in AR/VR-Bildern unterstützt in der richtigen Position angezeigt werden.

◎ Einstellbarer Linsenwellenleiter

Im Jahr 2018 erforschte Apple eine AR/VR-Anzeigelösung auf Basis des optischen Wellenleiters LCoS+. Die optische Engine befindet sich auf der linken und rechten Seite des Brillengestells und injiziert Bilder in den optischen Wellenleiter vor den Augen des Benutzers. Darüber hinaus verfügt die Lösung über ein einstellbares Fokusobjektiv.

In einem anderen Patent (US11221488B1) wies Apple darauf hin, dass die Fokuslinse eine oder mehrere Flüssigkristalllinsen oder flüssigkeitsgefüllte Linsen, Alvarez-Linsen, verwenden kann und sich dadurch auszeichnet, dass sie die Sehanpassung unterstützt und Myopie, Hyperopie usw. lindert . Sehprobleme.

◎ Holographischer optischer Wellenleiter+Mikro-LED

Nr. US20180321432A1, Apple beschreibt in dem Patent eine optische Wellenleiterlösung in Kombination mit einer holografischen optischen Folie, die eine Micro-LED-Lichtquelle verwendet. Die Besonderheit besteht darin, dass das Licht je nach Betrachtungswinkel umgelenkt werden kann, wodurch eine stereoskopische Sicht entsteht .

Zusätzlich zum holografischen optischen Wellenleiter erwähnte Apple in einem weiteren Patent aus dem Jahr 2019 (Nr. US20190285897A1) eine optische AR-Lösung, die auf einem reflektierenden holografischen Kombinator basiert und halbreflektierende und halbtransparente Eigenschaften aufweist.

◎ Katadioptrisches optisches System

Nr. US20190146198A1 weist auf ein schwer zu erlernendes AR/VR-Verbindungssystem mit katadioptrischer Lösung hin, das sich dadurch auszeichnet, dass es aus mehrschichtigen hochdurchlässigen Linsen (aus Glas oder Kunststoff) besteht, die Folgendes enthalten können: Plankonvexe Spiegel und Plankonkavspiegel haben brechende und reflektierende Eigenschaften. Der Zweck der Einführung eines gefalteten optischen Pfaddesigns besteht darin, die Dicke des am Kopf montierten optischen Moduls zu reduzieren.

◎ Flüssigkeitsanpassungslinse

Patentnummer US20200096770A1 weist auf einen dynamisch einstellbaren AR/VR-Linsensatz hin, der sich durch das Hinzufügen einer flüssigen Zwischenschicht zwischen den Linsen auszeichnet, um dynamische Fokus- und Dioptrienanpassungseffekte zu erzielen. Die Flüssigkeitsschicht wird durch eine elektronische mechanische Pumpe gesteuert. Je mehr Flüssigkeit sich zwischen den Linsen befindet, desto größer ist der Abstand. Da die optischen Module für das linke und rechte Auge unabhängig voneinander sind, können die Brennweiten für das linke und das rechte Auge unabhängig voneinander gesteuert werden.

◎ Mikrolinsen-Array-Lösung (Lentikularanzeige)

In den Patentnummern US20200103669A1, US20210072556A1, US11143865B1, US11187914B2, US20220035160A1, US20220146820A1 und anderen Patenten werden Array-Optiklösungen auf Basis mehrerer Zylinderlinsen/Mikrolinsen (bogenförmig angeordnet) erwähnt als Objektive mit einfacher Blende, trägt dazu bei, die Größe zu reduzieren Das am Kopf montierte Display verfügt über ein großes Sichtfeld, unterstützt die dynamische Betrachtungswinkelumschaltung und ist an das VST-Perspektivmodul eines Multikamera-Arrays angepasst.

Darüber hinaus werden die Optimierungsmethoden der optischen Lösung ausführlich beschrieben, z. B. die Verwendung einer Lamellenfolie zur Steuerung des Lichtemissionswinkels des Bildschirms zur Reduzierung von Übersprechen oder das Hinzufügen von Reflektoren zur Änderung des Perspektivwinkels und „visuelle Darstellung der perspektivischen Szene“. „Näher“ am Benutzer, um eine genauere Szenentiefe/-entfernung anzuzeigen.

◎ Mehrschichtige geometrische Phasenlinsenlösung

In der Patentnummer US20210048674A1 hat Apple eine optische Lösung zur Darstellung eines dreidimensionalen virtuellen und realen Fusionsbildes vorgeschlagen. Sie zeichnet sich durch die Verwendung einer mehrschichtigen Linsenstruktur aus, um verschiedene Objekte in verschiedenen Fokusebenen darzustellen und sie zu einem zusammenzufügen immersive, dreidimensionale Szene. Die Umsetzung dieser Lösung erfordert eine große Berücksichtigung der Anforderungen an Optik, Eye-Tracking, Softwarealgorithmen usw., um den dynamischen Zoomeffekt des menschlichen Auges erfolgreich zu simulieren.

◎ Farbwechselnde Linsen

In einem Patent aus dem Jahr 2019 (US11029521B2) schlug Apple eine AR-Linsenlösung mit einer überlagerten photochromen Schicht vor, die sich durch eine Verringerung der Lichtdurchlässigkeit bei starkem ultraviolettem Licht auszeichnet, wodurch AR-Bilder im Freien klarer angezeigt werden können. Ähnlich wie bei herkömmlichen Farbwechselbrillen kann dieser Mechanismus einige AR-Brillen ersetzen, die Hauben verwenden.

◎ Optische Lösung zur Dispersionskompensation: Nr

Diese Lösung zielt darauf ab, die optische Effizienz und Bildqualität augennaher Optiken wie AR zu verbessern. Sie zeichnet sich durch die Verwendung einer Vielzahl holografischer Materialien als Gittermedien aus. Jedes holografische Material verfügt über unterschiedliche Gittervektoren, Frequenzen und Richtungen gut beseitigen chromatische Aberration. Diese Lösung kann mit Polarisatoren und Projektionskomponenten zu einer optischen Lösung kombiniert werden.

◎ Verbessern Sie die Qualität des Micro-LED-Bildschirms

Um die Produktionsqualität von Micro-LED-Bildschirmen besser zu kontrollieren, hat Apple spezielle Testgeräte und -architekturen entwickelt und behauptet, dass sie LED-Pixel mit minderwertiger Helligkeit erfassen können (z. B. durch optisches Scannen des Displays), bevor sie Micro-OLEDs auf Panels kleben Sobald das Problem entdeckt wird, kann die Ersatz-LED für eine effektivere Reparatur direkt ausgetauscht werden.

Micro LED ist eine relativ hochmoderne Anzeigetechnologie. Sie wird künftig nicht nur in Mobiltelefonen und Smartwatches zum Einsatz kommen, sondern soll auch in AR/VR-Headsets zum Einsatz kommen.

◎ 360°-Perspektive

Im Patent Nr. US20210092292A1 beschreibt Apple eine AR/VR-Head-Mounted-Display-Lösung, die mit 8 Kameras ausgestattet ist. Die Besonderheit besteht darin, dass 8 Kameras um das Head-Mounted-Display (einschließlich der Frontabdeckung und des Kopfbands) herum angeordnet sind, um eine 360-Grad-Aufnahme zu ermöglichen ° Umgebung, wodurch die Umweltwahrnehmung des Benutzers verbessert wird und sogar tote Winkel erkannt werden können.

◎ Hauptbildschirm + sekundäres Bildschirmdesign

In einem im Jahr 2021 veröffentlichten Patent hat Apple eine AR-Brillenlösung entwickelt, die auf dem Hauptbildschirm und dem sekundären Bildschirm basiert. Die Funktion besteht darin, dass der Hauptbildschirm und der sekundäre Bildschirm eine höhere Auflösung haben und zur Anzeige des Hauptbildschirms verwendet werden AR-Funktionen haben eine geringere Auflösung und zeigen hauptsächlich einige einfache Eingabeaufforderungsinformationen wie Countdowns, Ereignisse usw. an. Am äußersten Rand des Rahmens befindet sich ein Kreis aus LED-Anzeigen, der daran erinnert, dass sich der AirTag in der Nähe befindet. Der Vorteil dieses Designs besteht darin, die begrenzte Bildschirmfläche rationeller zu nutzen und gleichzeitig die Rechenleistung und den Stromverbrauch zu reduzieren.

Im Patent Nr. US11450297B1 hat Apple ein Foveated-Rendering-Schema mit einem Hauptbildschirm und zwei sekundären Bildschirmen (können flexible oder starre Panels verwenden) entwickelt, die in einem Bogen angeordnet sind, der sich der Krümmung des Kopfes anpasst An der Bildschirmgrenze hat Apple der Linse eine unabhängige Schicht einer Diffusionsstruktur hinzugefügt, um die Verbindung zwischen Bildschirmen mit hoher und niedriger Auflösung zu optimieren.

Zweitens Eyetracking

Eye-Tracking-Technologie ist ein wichtiger Punkt, der in den AR/VR-Patenten von Apple immer wieder erwähnt wird. Zu ihren Hauptanwendungen gehören: Blickwiedergabe, Reduzierung des Stromverbrauchs, dynamische Fokussierung, biologische Überwachung, Seherkennung, Blickeingabe usw. Darüber hinaus beschreibt das Patent auch ausführlich die Umsetzung und Optimierung des Eyetrackings, wie zum Beispiel:

• Nahinfrarot-Lösung (kann Pupillenerweiterung und Blickpunkt erfassen);
• Eine Lösung basierend auf gerichtetem Netzhautblitz
• Koaxiale Beleuchtungslösung (spezifische Pulsbandlichtquelle und Bildsensor liegen auf derselben Achse, der Vorteil besteht darin, dass hellere Pupillenbilder aufgenommen werden können);
• Eye-Tracking-Verzögerungskompensation und Effektoptimierung.

Die folgenden sind einige der markantesten:

◎ Nr. US20200019238A1: Die Sakkade des menschlichen Auges ist ein häufiges Phänomen, das normalerweise mehrere Sakkaden pro Sekunde (Sukkade) auslöst Es ist schwierig, eine vorübergehende Blindheit festzustellen. Gerade durch Ausnutzung dieser Eigenschaft kann das System den Anzeigeinhalt unbemerkt für den Benutzer anpassen, wodurch der Stromverbrauch gesenkt und die Gefahr des Einbrennens des Bildschirms verringert wird.

Diese Lösung muss in Kombination mit Eye-Tracking-Technologie implementiert werden und kann CV- oder IR-Sensorlösungen verwenden.

◎Nr. US20190339770A1: Das Patent beschreibt eine auf Blickverfolgung basierende mechanische Zoom-AR/VR-Lösung, die den Fokus des Bildes entsprechend Änderungen im Blick des Benutzers ändern kann. Um die Verzögerung des Zoomsystems auszugleichen, konzentriert sich das Patent auf die Beschreibung einer Blickpunktvorhersagetechnologie, die die Bewegungsbahn des menschlichen Auges (den Landepunkt des Augapfelscans) im Voraus vorhersagen und das Bild vorab rendern kann Der Vorteil besteht darin, dass der Fokuswechsel reibungsloser erfolgen kann.

Im Jahr 2018 meldete Apple ein Patent für eine Foveated-Rendering-Lösung an, die eine 8K-Auflösung (mittlerer visueller Bereich) erreichen kann. Im Jahr 2019 gab es auch Apple-Patente, in denen Foveated-Rendering-Lösungen erwähnt wurden (Nummern US20190172399A1, US20190180672A1), die sich durch die Verwendung von zwei Bildschirmen auszeichnen (hochauflösender Hauptbildschirm + niedrigauflösender Sekundärbildschirm). , und der Bildschirm-ppi liegt zwischen 1000 und 2000.

◎ Nr. US20190133440A1: zeigt eine Lösung zur Verbesserung und Optimierung der Genauigkeit und Stabilität der Blickverfolgung durch Identifizierung des dominanten Auges auf. Das dominante Auge wird auch als dominantes Auge bezeichnet. Durch die Fokussierung auf die Analyse der Daten des dominanten Auges beim Eyetracking können die optische Achse und die Sehachse des Augapfels besser ausgerichtet werden, was zu besseren und schnelleren Kalibrierungsergebnissen führt.

Ein weiterer Vorteil der Identifizierung des dominanten Auges besteht darin, dass Benutzer damit Augenkrankheiten im Zusammenhang mit Vergenz wie Strabismus oder Amblyopie diagnostizieren und auf dieser Grundlage die Fixationspunkt-Rendering-Technologie optimieren können. Um die Anpassungsfähigkeit des Eye-Trackings an ein breites Personenspektrum weiter zu optimieren, erwähnt Apple im Patent Nr. US11644896B2, dass das Eye-Tracking-System die Augeneigenschaften verschiedener Benutzer als Steuerparameter extrahieren und auf dieser Basis den Blickpunkt dynamisch kalibrieren kann .

◎ Nr. WO2020068447: Apple hat eine Möglichkeit vorgeschlagen, AR/VR-Anwendungen basierend auf Eye-Tracking zu öffnen. Sie zeichnet sich durch eine Kombination aus Sprachspiel aus. Der Benutzer muss nur auf das Logo der Zielanwendung starren und „Öffnen“ sagen. um die Anwendung zu öffnen. Die Steuerung ist natürlich und schnell genug. In einem weiteren im Jahr 2021 veröffentlichten Patent schlug Apple außerdem eine Lösung vor, um mithilfe von Blickpunkten schnell zwischen Texteingabefeldern zu wechseln, sodass Sie in VR schneller Formulare ausfüllen und persönliche Informationen eingeben können.

Nach Ansicht von Apple kann Eye-Tracking auch die Aufnahme von Ego-Videos dynamisch optimieren, indem beispielsweise der Blickpunkt zur Steuerung der Aufnahmeposition der Kamera verwendet wird, die Aufmerksamkeit des Benutzers in die Mitte des Videos gelenkt wird und die Kamera schnell entsprechend den Änderungen bewegt wird Blickpunkt (unter Verwendung eines Glättungsalgorithmus zur Vermeidung von Verwacklungen). Dies wird sich sehr gut für zukünftige Allwetter-AR-Brillen eignen.

◎ Nr. US20200278539A1: Um den Stromverbrauch der Eye-Tracking-Hardware zu senken, hat Apple im Patent eine ereigniskamerabasierte Lösung entwickelt, die sich dadurch auszeichnet, dass sie sich nur dann einschaltet, wenn eine Augenbewegung erkannt wird, und nicht kontinuierlich einschaltet Scannen. Ein weiteres Merkmal dieses Patents besteht darin, dass es die Lichtintensität basierend auf den biologischen Informationen des Benutzers anpassen kann. Wenn der Benutzer ungewöhnlich oft blinzelt oder ein Kind erkennt, reduziert der Systemalgorithmus die Helligkeit der Lichtquelle, um den Sehkomfort zu verbessern .

Eine weitere energiesparende Lösung besteht darin, niedrigauflösende und hochauflösende Eye-Tracking-Modi zu kombinieren, um die relative Bewegung bzw. genaue Position der Augäpfel zu identifizieren, und sie mit Kopfsensoren zu kombinieren, um den Blickpunkt zu lokalisieren.

◎ Nr. US10354136B2: Um die Eye-Tracking-Genauigkeit zu verbessern, ist die Reduzierung der Drift ein Schlüssel. In diesem Patent stellt Apple ein spezielles Linsensystem vor, von dem es behauptet, dass es die Eye-Tracking-Drift reduzieren kann. Diese Lösung basiert auf Raytracing, das den Augapfel usw. modellieren kann, indem es die Daten des Lichts identifiziert, das das menschliche Auge erreicht und reflektiert wird.

Einige Eye-Tracking-Patente stammen auch von dem 2017 von Apple übernommenen Unternehmen SMI (Senso Motoric), beispielsweise US10437327B2, das eine Lösung zur Erfassung von Blickpunkten durch sekundäre Bildgebung vorschlägt. Das Merkmal besteht darin, dass die erste Bildgebung klare Augäpfel erfasst, um sie zu lokalisieren Aufgrund der Pupillenposition hat die zweite Bildgebung eine geringere Auflösung und wird zur Identifizierung heller Augäpfel verwendet. Nachdem die beiden Erfassungsdaten kombiniert wurden, können die Blickpunktvorhersagedaten genauer sein.

Drei, Biosensoren

In einigen Patenten schlägt Apple vor, AR/VR-Headsets mit Biosensoren auszustatten, um den körperlichen Zustand des Trägers zu erfassen und den angezeigten Inhalt entsprechend zu ändern. Im Detail kann das Headset Informationen wie Kraft, Temperatur, Luftfeuchtigkeit, Verschiebung, EEG, Kapazität, EMG und Herzfrequenz identifizieren, um psychische Belastungen und den persönlichen Gesundheitszustand zu beurteilen, und dann Anwendungen oder Inhalte zur Entspannung in AR/VR empfehlen , und kann sogar proaktiv medizinische Informationen einholen.

In einem Patent aus dem Jahr 2019 beschrieb Apple eine Gesichtsverfolgungslösung, die die Hinzufügung verschiedener Biosensoren zu AR/VR-Headsets und -Brillen vorsah, wie z. B. PPG (Photoplethysmographie) und EKG (Elektrokardiogramm) sowie GSR (Electrical Skin Signal). , Drucksensor, eField, Thermosensor usw. Das Gerät kann den Gesundheitszustand des Benutzers erkennen, indem es verschiedene komplexe Gesichtsbewegungen wie Kauen, Blinzeln und Nasenfalten analysiert.

Viertens: interaktive Technologie

1, Luftgeste

Einige Teile der 3D-Gestentechnologie von Apple stammen von PrimeSense, das das Unternehmen 2013 übernommen hat. Aus einigen verwandten Patenten geht hervor, dass der Erfinder ein ehemaliger PrimeSense-Mitarbeiter ist. Beispielsweise wird in einem Patent eine 3D-Gestenlösung vorgestellt, die es Benutzern ermöglicht, mithilfe von Greifen, Drücken, Loslassen und anderen Gesten die 3D-Benutzeroberfläche zu bedienen, um Spiele oder Videos abzuspielen.

Luftgesten sind eine gängige und wichtige Technologie in den AR/VR-Patenten von Apple. Sie können nicht nur in AR/VR-Headsets verwendet werden, sondern können auch auf iPhone, iPad, Mac und anderen Geräten implementiert werden.

Das Luftgestensystem von Apple kann eine Vielzahl von Lösungen nutzen, wie z. B. strukturiertes Licht, LiDAR, RGB, IR-Sensoren, Ultraschallwandler, VSWR-Sensoren usw.

Apple beschreibt beispielsweise im Patent Nr. US20210011289A1 eine am Kopf montierte AR/VR-Display-Lösung, die die Inside-Out-Positionierung unterstützt. Sie zeichnet sich dadurch aus, dass sie mit einer RGB-Kamera, einem ToF-Sensor und einem IR-LED-Modul ausgestattet ist und Handverfolgung und 3D unterstützt Umgebungsbereich usw. Elementfunktion.

2, somatosensorische/intelligente Handschuhe

Apple hat mehrere Patente für AR/VR-Handschuhe angemeldet, die verschiedene technische Lösungen abdecken, wie zum Beispiel das Anbringen von Magnetsensoren an den Fingerspitzen der Handschuhe, um die relativen Positionen der Magnetquelle und des Sensors zu lokalisieren, indem Änderungen und Störungen im Magnetfeld erkannt werden. Dies ermöglicht die Gestenpositionierung. Mit flexiblen Kraftsensor-Arrays und lichtleitenden Materialien können kleine taktile Interaktionen und dynamische Veränderungen der Griffkraft erfasst werden.

Darüber hinaus wird auch eine Handschuhlösung vorgeschlagen, die auf der IMU-Positionierung basiert. Die Besonderheit besteht darin, dass der IMU-Sensor in den Knöchelteil des Handschuhs integriert ist, der die Bewegung und Position der Handfläche und der Finger ohne Beeinträchtigung durch Faktoren genau erkennen kann B. Okklusion, sodass Fingerkreuzbewegungen erkannt werden können.

Im Patent Nr. US11397486B2 hat Apple außerdem einen VR-Handschuh vorgeschlagen, der Ultraschallwellen zur Erkennung von Gesten verwendet. Er zeichnet sich dadurch aus, dass er den von der Handfläche des Benutzers ausgeübten Druck und die Dicke der Finger erkennen kann.

Neben der Verfolgung von Gesten hofft Apple auch, AR/VR-Handschuhen somatosensorisches Feedback (Nr. US10481688B1, US20200257362A1) zu geben, das auf Technologien wie Reibungswiderstand und flexiblen Patches basiert, um „berührende“ Texturen wie das Meer, Wellen, Bäume, Strände und Lenkgefühle.

In einem weiteren Patent aus dem Jahr 2020 beschrieb Apple eine flexible Handschuhlösung mit Körpergefühl, die auf Stoffmaterial basiert. Die Besonderheit besteht darin, dass sich der Stoffteil ausdehnen oder zusammenziehen kann, um sich an Benutzer mit unterschiedlichen Handformen anzupassen.

3, intelligentes Armband/Smartwatch

In einem Patent beschreibt Apple eine Lösung für die Steuerung von VR-Spielen mit einer Smartwatch. Die Funktion basiert auf der Hauterkennung, die durch den Vergleich und die Analyse von Venenbildern auf Bewegungen der Handgelenke schließen kann.

In Patenten wie US20210303068A1 hat Apple auch eine Lösung vorgeschlagen, um die Kontaktbewegungen beider Hände auf der Smartwatch durch Kamera-CV, UWB, EMG, RF, Sensorschaltkreise usw. zu identifizieren, sodass Sie mit einem Finger auf dem anderen gleiten können Ihre Handfläche, um Cursorbewegungen, Ziehen, Öffnen oder andere Befehle zu simulieren.

Tatsächlich hat die Apple Watch im Jahr 2021 eine Gestenerkennungsfunktion (AssistiveTouch) eingeführt, die Bewegungen wie das Machen einer Faust und das Kneifen der Finger erkennen kann, sodass Sie die Benutzeroberfläche der Uhr mit einhändigen Mikrobewegungen steuern können. Zukünftig könnte diese Form der Interaktion mit AR/VR-Headsets kombiniert werden, um eine direkte Interaktion mit natürlichen Gesten zu ermöglichen.

4, intelligenter Ring

Derzeit sind Griffe die wichtigste Interaktionsmethode für AR/VR auf dem Markt, gefolgt von Gesten. Unternehmen wie Google, Meta und Apple untersuchen den Einsatz intelligenter Ringe zur Steuerung der AR/VR-Technologie. Insbesondere in den AR/VR-bezogenen Patenten von Apple (US20190004604A1, US10444834B2 usw.) gibt es häufig Einführungen in Smart Rings mit unterschiedlichen Designs.

Zum Beispiel: U-förmige Fingerringe (elastisches/flexibles Material, größenverstellbar), Ringe, Fingerlinge (die der Bewegung von fünf Fingern folgen) oder modische Spiral-, Scharnier- und andere Designs. Es verfügt über ein erweiterbares Erscheinungsbild und kann in mehreren Einheiten verwendet oder mit Peripheriegeräten wie dem Apple Pencil zusammenarbeiten.

Zu den Funktionen gehören drahtloses Design, optische Positionierung des Stoffes und mehrere Sensoren: Touchpad, NFC-Kommunikation, Biosensor, SMI-Drucksensor, Beschleunigernadel und andere Geräte, die Hautkontakt/Kneifen, Tippen und andere Mikrogesten-Interaktionen erkennen und unterstützen können Die 6DoF-Positionierung kann sogar die Umgebungstemperatur, die Form und Textur der physischen Oberfläche sowie biologische Signale wie Herzfrequenz, Blutdruck und Blutsauerstoff identifizieren. Einige Patente erwähnen auch, dass der Smart Ring mit einigen Smart-Funktionen ausgestattet werden kann, die denen der Apple Watch ähneln, wie z. B. digitale Knöpfe, Entsperren von Mac-Computern usw.

5, Stiftinteraktion

In einigen Patenten hat Apple vorgeschlagen, einen Stift (z. B. den Apple Pencil) zu verwenden, um 3D-Objekte im Raum zu erstellen, was sich stark von herkömmlichen Stiftlösungen auf Touchscreen-Basis unterscheidet.

Zum Beispiel weist die Nummer US20180018057A1 auf ein Stiftdesign hin, das auf nichtelektronischer Oberflächeneingabe basiert. Das Merkmal besteht darin, dass der Stift über einen eingebauten Positionierungssensor verfügt, der überall geschriebene Inhalte erkennen kann.

In einem Patent aus dem Jahr 2020 beschrieb Apple einen Stift, der die 6DoF-Positionierung unterstützt. Er zeichnet sich durch die Unterstützung von Scherkraft-Feedback aus. Wenn Benutzer den Stift halten, können sie simulierte physische Empfindungen wie Oberfläche, Lautstärke und interne Textur spüren.

In einem anderen Patent schlug Apple außerdem einen einfachen Stiftadapter vor, der dem Apple Pencil Druckempfindlichkeit verleihen würde (ähnlich den Auslösetasten eines VR-Controllers) und es Benutzern ermöglichen würde, mit dem Stift Informationen im Raum einzugeben. Darüber hinaus kann der Stift auch als Controller zum Spielen von Spielen (US20230042447A1) wie Tippen, Scrollen, Drehen, Streichen und Schieben in AR/VR verwendet werden.

6, virtuelle Tastatur

Nr. US10237509B1: Um AR/VR-Benutzern die schnelle Eingabe von Text zu erleichtern, hat Apple im Patent ein virtuelles Tastaturdesign vorgeschlagen, das die physische Tastatur mit einer Ebene überlagert, die direkt durch die Kamera hindurchschaut Tasten, die virtuelle Tastatur wird optisch übersichtlicher. Hinsichtlich der Eingabehardware ist die Lösung mit physischen Tastaturen, Touchscreen-Tastaturen für Tablets und Handschuhen zur Gestenverfolgung kompatibel.

Nr. US20200088999A1: Dieses Patent sieht eine projektionsbasierte virtuelle Tastaturlösung vor. Es zeichnet sich durch ein Projektionsgerät auf dem Headset aus, das die Tastatur auf eine physische Oberfläche wie den Desktop projizieren und einen 3D-Sensor verwenden kann, um Benutzertipps zu erkennen . Tastaturaktionen. Es ist erwähnenswert, dass das in diesem Patent erwähnte Headset auch andere Interaktionen mit externen Bildschirmen unterstützt, z. B. das Hinzufügen von Tasten, Berührungssensoren und Touch-Displays zum Gehäuse, sodass Benutzer es schnell verwenden können, ohne das Headset zu tragen.

In einem anderen Patent (US10890952B2) erwähnte Apple auch eine ähnliche interaktive Oberflächenprojektionslösung, die dadurch gekennzeichnet ist, dass sie jede physische Oberfläche in ein bedienbares Menü verwandelt, z. B. indem eine Taschenrechnerfunktion auf einem Notebook eingeblendet wird, oder eine interaktive Benutzeroberfläche, die darauf überlagert wird Arm.

Fünf, VST-Perspektive

Wie aus einigen Patenten hervorgeht, handelt es sich bei einem Teil der VST-Technologie von Apple um die Perspektivtechnologie, die von der 2017 erworbenen Firma VRVANA übernommen wurde. Die VRVANA-Technologie zeichnet sich durch die Korrektur der Bildverzerrung der optischen Linse aus, und die VST-Perspektivverzögerung beträgt nur wenige Millisekunden. In einem 2019 veröffentlichten Patent (einer der Erfinder ist VRVANA-Gründer Bertrand Nepvue) beschrieb Apple eine MR-Lösung, die auf dem Prinzip des Echtzeit-Chroma-Keyings basiert und den Hintergrund von Personen in realen Szenen durch virtuelle Inhalte ersetzen kann. ähnlich wie Green-Screen-Ersatz.

Darüber hinaus wies Apple in einem weiteren Patent aus dem Jahr 2019 (US10330935B2) darauf hin, dass das Headset mit zwei hochauflösenden und niedrigauflösenden Perspektivenkameras ausgestattet werden kann. Dieses Design nutzt die Blickpunkt-Rendering-Technologie von VR, um die perspektivische Auflösung des Benutzers zu reduzieren der leichte Teil zur Optimierung von Rechenaufgaben und zur Reduzierung der Hardwarekosten.

Das Patent weist außerdem darauf hin, dass das AR/VR-Headset die umgebende dreidimensionale Umgebung durch zwei Sätze von RGB-Kameras erfasst und behauptet, das menschliche visuelle System simulieren zu können.

Sechs, räumliches Audio

Apple hat auch eine Reihe von Patenten für räumliches Audio angemeldet, beispielsweise einige Lösungen, die auf HRTF (Head-Related Transfer Function), geometrischer Akustik und anderen Technologien basieren oder Schallfelder in Innenräumen durch Echtzeit-Raytracing simulieren. Darüber hinaus haben wir auch eine Lösung zur Vorhersage von Zweikanal-Audio basierend auf Kopfpositionierungsinformationen untersucht, die sich durch die dynamische Anpassung der simulierten Entfernung und Richtung des Tons basierend auf der Kopfbewegung des Benutzers auszeichnet, um das Erlebnis von VR-RPG-Spielen und Horror zu verbessern Filme und andere Inhalte.

In US2022032965A1 wird eine Lösung zur Lokalisierung der Benutzerorientierung anhand der Richtung des Kopfes zum Rumpf beschrieben, ähnlich dem Körperorientierungsmodus von AirPods.

In einem Patent aus dem Jahr 2021 wies Apple darauf hin, dass AR/VR-Headsets mit mehreren Mikrofon-Arrays ausgestattet sein können, eine gerichtete Audioerkennung unterstützen und die Quelle eines Tons in der Umgebung berechnen und diese visuell markieren oder anzeigen können. Eine solche Funktion kann das menschliche Gehör gut ergänzen und Benutzern helfen, Geräusche zu identifizieren, die über den normalen Wahrnehmungsbereich hinausgehen (ein ähnliches Konzept kann AR auch verwenden, um Gase, elektromagnetische Signale usw. zu markieren, die für das bloße Auge unsichtbar sind).

In einem Patent aus dem Jahr 2023 (US2023014111A1) wurde außerdem darauf hingewiesen, dass räumliche Filter verwendet werden können, um binauralem Audio entsprechend der Umgebung des Benutzers räumliche Hinweise hinzuzufügen, wodurch das tatsächliche Erlebnis von räumlichem Audio immersiver wird.

Sieben, Positionierungssystem

◎ Ultraschallpositionierung

Derzeit basiert die gängige VR-Positionierung auf optischen Lösungen wie Infrarot, CV usw. Im Patent Nr. US20190094955A1 schlug Apple eine Ultraschall-Positionierungslösung vor, die auf dem Time-of-Flight-Ranging-Prinzip basiert, und behauptete, dass sie den relativen Abstand zwischen dem Sensor und Wänden, Zielen und Hindernissen messen und eine 3D-Karte für die Umgebung erstellen könne. und Ortung von Controllern und Headsets sowie zum Erkennen von Hindernissen und Identifizieren von Oberflächen.

◎ 3D-Entfernung/Scannen

Apple hat in Patenten mehr als einmal erwähnt, dass AR/VR-Headsets mit mehreren 3D-Sensoren ausgestattet werden können, darunter: strukturierte Lichtsensoren, binokulare 3D-Bildsensormodule (bestehend aus 2 oder mehr Kameras), LiDAR und 3D-Funksensoren, Infrarot oder CV-Kameras usw. Mit diesen Sensoren können Räume lokalisiert und Hindernisse identifiziert werden.

Acht, andere Sensoren

◎ Multisensor-Array

Im Jahr 2021 veröffentlichte das USPTO ein wichtiges AR/VR-Patent von Apple (US20210165229A1), das ein geteiltes AR/VR-Headset beschreibt, das mit mehreren Kameras und Sensoren ausgestattet ist. Warum ist es wichtig? Zu den Patenterfindern zählen zunächst einige Schlüsselfiguren bei Apple, etwa der HoloLens-Miterfinder Avi Bar-Zeev und Geoff Stahl, der seit mehr als 20 Jahren bei Apple arbeitet. Kürzlich gab Bloomberg bekannt, dass Stahl nun für das xrOS-Betriebssystem verantwortlich ist, eine Schlüsselanwendung in Apples AR/VR-Projekt.

Darüber hinaus sieht Apple in der Patentnummer US20210294104A1 auch vor, dass AR/VR-Headsets mit weiteren Sensoren ausgestattet werden können, wie Kameras, Eye-Tracking-Modulen, Lidar, Fingerabdruckerkennungsmodulen, Gestenerkennungsmodulen und Ultraschallsensoren, optischen Abstandssensoren , Netzhaut-Scan-Sensoren, Temperatursensoren, EMG, Sauerstoffsensoren, Herzfrequenzsensoren, Blutflusssensoren, Widerstandssensoren, Dehnungsmessstreifen, Beschleunigungsmesser, Magnetsensoren, Potentiometer usw.

◎ Hallsensor (Nr. US10557724B1)

Normalerweise verwenden AR/VR-Headsets Abstandssensoren, um den Tragestatus zu erkennen. Nachdem erkannt wurde, dass der Benutzer das Headset trägt, wird das System eingeschaltet und sobald erkannt wird, dass der Benutzer das Headset abgenommen hat, geht es in den Standby-Modus Zustand. Im Vergleich zu Abstandssensoren sind Hall-Sensoren stromsparender. Apple möchte mehrere Hall-Sensoren und magnetische Mechanismen im Headset verwenden, um den Tragestatus durch Erkennung des Drehwinkels des Geräts zu ermitteln. Tatsächlich nutzen auch Apples Bluetooth-Kopfhörer AirPods Hall-Sensoren.

Neun, Erscheinungsbilddesign

◎ Digitaler Knopf

Apple hat die Anwendung des digitalen Knopfdesigns auf AR/VR-Headsets in mehreren Patenten erwähnt (z. B. US20210089136A1). Tatsächlich ist der digitale Knopf eine klassische Interaktionsmethode für Apple-Produkte. Er wurde bereits in Apple Watch- und AirPods Max-Headsets verwendet. Bei Verwendung in AR/VR-Headsets kann er die Lautstärke und die Bildschirmhelligkeit anpassen und sogar zwischen AR und wechseln VR-Modus.

Interessanterweise wies Apple im Patent mit der Nummer US20230162929A1 darauf hin, dass der digitale Knopf komplexere Vorgänge unterstützen kann, wie zum Beispiel die Kombination mehrerer Rotationsaktionen, um kombinierte Befehle auszulösen und so umfassendere Interaktionen zu erreichen.

◎ Flexible intelligente Textilmaterialien

Derzeit wird bei AR/VR hauptsächlich eine Stoffumhüllung des Gehäuses verwendet, und ein leitfähiges Stoffdesign wurde noch nicht angewendet. Im Patent Nr. US20190191557A1 hat Apple eine flexible Smart-Fabric-Lösung vorgeschlagen, die über integrierte gerillte leitfähige Kabel verfügt und in tragbaren Geräten wie Armbändern und AR-Brillen verwendet werden kann.

◎ Versteckte Kamera

Die wesentlichen Bestandteile von AR/VR-Headsets sind optische Sensoren und Kameras, die hauptsächlich zur Umgebungserfassung, Positionierung und Gestenerkennung verwendet werden. Das Tragen einer AR-Brille rund um die Uhr kann dazu führen, dass die Kameras und Sensoren der Brille zu lange laufen, was zu Unzufriedenheit bei anderen in Ihrer Umgebung führt. Um die Kamera versteckter erscheinen zu lassen, hat Apple im Patent (Nr. US20190353836A1) eine infrarotlichtdurchlässige Einwegspiegelbeschichtung vorgeschlagen kann Infrarotlicht passieren (hat keinen Einfluss auf die SLAM-Positionierung), die interne Kamera ist von außen nicht sichtbar.

◎ Großflächige Touch-Steuerung am Gehäuse

Im Patent Nr. US20210089150A1 hat Apple ein großflächiges berührungsunterstütztes AR/VR-Head-Mounted-Display-Gehäusedesign vorgeschlagen, das sich dadurch auszeichnet, dass es mit Sensoren, Schiebetasten, Knöpfen und anderen Bedienmethoden ausgestattet ist, um eine flexible externe Steuerung zu unterstützen.

In anderen Patenten erwähnte Apple auch eine Art „unsichtbare“ Tasten- und Touch-Slider-Lösung, die mit bloßem Auge nicht leicht erkennbar ist, um das ästhetische Produktdesign von AR/VR-Headsets zu optimieren.

◎ AR-Kopf-Displaybox

Apple hat in mehreren Patenten ein Plug-in-AR/VR-Head-Display-Box-Design vorgeschlagen. Die Funktion besteht darin, dass das Mobiltelefon direkt in den Linsenrahmen eingesetzt werden kann, um Inhalte vor den Augen des Benutzers anzuzeigen. Die Bügel können zudem mit Berührungssensoren zur Bedienung von AR/VR-Schnittstellen ausgestattet werden. In einem aktualisierten Patent im Jahr 2022 (US11258891B2) wurden auch neue Funktionen hinzugefügt: Unterstützung für die Umschaltung zwischen AR (VST-Modus) und VR-Modus.

Im Vergleich zu integrierten AR/VR-Headsets haben Headset-Boxen den Vorteil, dass sie kostengünstiger sind, vorhandene iPhones flexibel nutzen und sogar die Privatsphäre beim Betrachten von Mobiltelefonen schützen können. Nach einer Reihe von Enthüllungen scheint es jedoch, dass Apple ein solches Produkt vorerst nicht auf den Markt bringen wird.

◎ Modulare AR-Brille

In einem im Jahr 2020 veröffentlichten Patent hat Apple ein relativ fortschrittliches AR-Brillenproduktdesign konzipiert, das sich durch hochgradig modulare Linsen, Rahmen und andere Teile auszeichnet, die ausgetauscht und zerlegt werden können. Sie können beispielsweise je nach Bedarf ausgetauscht werden und Szenarien. Verschiedene Komponenten, wie hochauflösende Anzeigemodule, langlebige Batterien, kleinere Komponenten usw. Erwähnenswert ist, dass der Rahmen und die Bügel der AR-Brille über eine Steck-Zapfen-Struktur verfügen, sodass Benutzer eine komplette AR-Brille ohne zusätzliche Werkzeugunterstützung selbst zusammenbauen können. Dieses Gameplay ähnelt dem austauschbaren Armbandmechanismus der Apple Watch und ermöglicht Benutzern die Personalisierung des Produkts.

◎ Konfigurierbares und erweiterbares AR/VR-Audiosystem (Nr. US20200089008A1)

Die Ohrmuscheln der Kopfhörer bestehen aus verformbarem Schaumstoffmaterial, das aufgeblasen und entleert werden kann, um zwischen Geräuschreduzierungs- und Durchdringungsmodus zu wechseln und den Audiomodus zu ändern. In der VR-Szene können Sie schnell zu immersivem Audio (Rauschunterdrückungsmodus) wechseln, während Sie in der AR-Szene zu Open Audio wechseln, das den Ton über das Knochenleitungsprinzip wiedergibt.

◎ Objektivschutzmodus

Apple-Ingenieure haben sich in einem im Dezember 2019 veröffentlichten Patent einen Schutzmechanismus vorgestellt, der verhindern soll, dass die Linsen von AR-Brillen bei Stürzen zerbrechen. Diese Lösung kann den Status von AR-Brillen durch Sensoren erkennen. Wenn die Brille frei fällt und getroffen wird, wird der Schutzmodus des optischen Systems aktiviert, d. h. die entsprechenden Linsen werden bewegt und Luft oder spezielle Flüssigkeit wird eingefüllt zwischen den Linsen, um einen Puffer zu bilden. Dadurch werden versehentliche Verluste durch Kollisionen reduziert.

Im Patent Nr. US20210302745A1 hat Apple außerdem ein Selbstinspektionssystem für optische Module vorgeschlagen, das automatisch die Fehlausrichtung interner Komponenten erkennt und die Standardwerte wiederherstellt .

Interessanterweise hat Apple in einem anderen Patent (US11340466B2) auch ein elastisches Rahmendesign vorgeschlagen, das sich durch verformbare Bügel auszeichnet, die bei Stößen als Puffer wirken können und so eine Verformung optischer Wellenleiter und anderer optischer Module verhindern.

◎ Optimierung des Headset-Gurts

Nein. US20190072772A1: Normalerweise müssen Benutzer die Gurte an ihre Kopfform anpassen, bevor sie das AR/VR-Headset tragen. Dies erfordert einen Vorgang, sodass es nicht wie ein Mobiltelefon verwendet werden kann. Wenn sich mehrere Personen ein AR/VR-Headset teilen, muss jeder die Gurte anpassen, was umständlich sein kann.

Um das Tragen des Headsets zu vereinfachen, beschreibt Apple im Patent ein mechanisches Tragesystem, das sich dadurch auszeichnet, dass es die Parameter des Kopfes des Benutzers erkennt und sich automatisch an die Größe anpasst. Es ist erwähnenswert, dass sich das System auch auf der Grundlage von Gesten und am Kopf angebrachten Inhalten anpasst, z. B. durch die Unterstützung beim Ausziehen und Tragen durch die Position der Hände des Benutzers. Beim Ausführen von Inhalten, die keine Bewegung des Benutzers erfordern (z. B Beim Ansehen von Filmen entspannen sich die Träger.

Darüber hinaus hat Apple in einem Patent ein faltbares Kopfbandsystem (US11320659B1) vorgeschlagen, das sich durch eine Kombination aus flexiblen Riemen und magnetischen Modulen auszeichnet. Es zeichnet sich durch einfache Aufbewahrung aus und unterstützt die modulare Erweiterung. Batterien, Lautsprecher und andere Komponenten am Kopfbügel).

十、UX-Design

◎ Aktives Kühlsystem

Nr. US20190075689A1: Um die Wärmeableitungseffizienz zu verbessern, hat Quest 2 Lüfter verwendet, um die Wärme aktiv abzuleiten. Im Gegensatz dazu verfügt die in Apples Patent beschriebene Lösung über eine bessere Belüftung und zeichnet sich durch zwei Lüfter an der Ober- und Unterseite des Headsets aus, um eine obere und untere Konvektion zur Kühlung der Innenteile zu erreichen.

Darüber hinaus kann das Lüftersystem die Intensität je nach Renderaufgabe dynamisch anpassen und auch Luft auf das Gesicht blasen, um die Haut zu kühlen.

In einem Patent aus dem Jahr 2022 schlug Apple außerdem ein Lüftergeräuschkontrollsystem vor, das sich dadurch auszeichnet, dass es die Geräusche des Kühlsystems erkennt und die Lüftergeschwindigkeit in Echtzeit anpasst, um Geräusche zu reduzieren und Benutzer und Anrufe nicht zu stören und Siri-Sprachassistent. Interessanterweise kann die Lüfterlautstärke auch erhöht werden, um den Benutzer darauf aufmerksam zu machen, dass sich Hindernisse in seiner Umgebung befinden.

◎ Selbstreinigende optische Teile

Wir wissen, dass AR/VR-Headsets normalerweise auf präzisen optischen Strukturen basieren. Wenn Staub oder Schmutz in den Spalt zwischen der Linse und dem Bildschirm eindringt, kann dies die Ausbreitung der Lichtquelle behindern und dadurch die Anzeige beeinträchtigen Wirkung. Allerdings lassen sich optische Komponenten meist nur schwer demontieren und manuell nur schwer reinigen. Daher hat Apple in einem 2021 veröffentlichten Patent auf eine selbstreinigende optische Lösung hingewiesen. Das Konzept ist einfach: Wenn ein Problem auftritt, werden die Staubpartikel sicher entfernt Sichtweite des Benutzers.

◎ Gesichtsanpassungssystem

Nr. US20200081259A1: Apple hat ein modulares, am Kopf montiertes Gesichtsstützsystem vorgeschlagen, das sich durch die Verwendung von einziehbaren Materialien, aufblasbaren Materialien und elastischen Gummimaterialien auszeichnet. Der Vorteil besteht darin, dass es an verschiedene Personen angepasst werden kann Gesichtsstrukturen (Stirn, Wangen, Schläfen), auch wenn die Maske aufgrund von Erschütterungen des Headsets falsch ausgerichtet ist, kann die Passform angepasst werden, um den Komfort zu verbessern.

◎ Geräteübergreifende Authentifizierung und Entsperrung

In einem Patent namens „Authentication Device Assisted User Authentication“ (US10893412B2) wies Apple auf eine Authentifizierungslösung für mehrere Geräte in der Nähe hin, die es Benutzern ermöglicht, AR/VR-Headsets zu tragen, um ihre iPhones direkt zu entsperren, wodurch das wiederholte Tragen von Schritten entfällt Nehmen Sie das Headset ab und entsperren Sie das Telefon. Dieses geräteübergreifende Verknüpfungsdesign wurde auf der Apple Watch übernommen, sodass Sie Ihr iPhone oder Ihren Mac-Computer schnell entsperren können. Zusätzlich zur Entsperrfunktion können Sie Geräte wie Mobiltelefone auch über das Head-Mounted-Display sperren und einen zweistufigen Verifizierungsmechanismus einrichten.

In einem anderen Patent mit der Nummer US20210105614A1 erwähnte Apple auch ein ähnliches Authentifizierungs- und Entsperrsystem für mehrere Geräte, das es Benutzern ermöglicht, AR/VR-Headsets zum Entsperren von Apple-Geräten in der Nähe zu verwenden.

◎ Verbesserte Fusionsanzeige

Nr. US10347050B1, Apple hat eine Lösung vorgeschlagen, um Bilder zu verzerren, um den Anzeigeeffekt zu verbessern. Seine Besonderheit besteht darin, die visuellen Effekte der realen Umgebung zu ändern, indem die visuellen blinden Flecken des Benutzers identifiziert werden, wodurch Inhalte ermöglicht werden, die ursprünglich sind Für den Benutzer unsichtbar, kann es auch in irgendeiner Form gesehen werden. Die Lösung basiert auf Eye-Tracking-Technologie und erfordert den Einsatz einer 3D-Tiefenwahrnehmung zur Erfassung der Umgebungsszene.

◎ Kabelloses Induktionsladen des Headsets

Im Patent Nr. US20200081490A1 hat Apple einen induktiven Ladeständer vorgeschlagen, der für AR/VR-Headsets geeignet ist. Die Funktion besteht darin, dass das Headset zur Anzeige direkt daran aufgehängt werden kann, oder dass der Akku getrennt und zum Laden auf den Ständer gestellt werden kann. Der Vorteil dieses Designs besteht darin, dass eine schöne Aufbewahrung und Anzeige des Kopfdisplays erreicht werden kann und das Kopfdisplay bei Nichtgebrauch aufgeladen werden kann, sodass Benutzer es jederzeit bequem mitnehmen und verwenden können.

◎ AirPlay

In mehreren Patenten hat Apple eine Lösung für die Verbindung von AR/VR-Headsets mit Computern, Laptops und Fernsehern vorgeschlagen. Das Konzept ähnelt der bestehenden AirPlay-Funktion, mit der die Bildschirme anderer umliegender Geräte im Headset schnell synchronisiert werden können Videos abspielen, Dokumente laden, E-Mail senden usw.).

◎ Millimeterwellen-Kommunikationssystem

In einem Patent aus dem Jahr 2020 schlug Apple eine auf Millimeterwellen basierende Interaktionslösung für mehrere Personen vor, die sich durch die Erzielung einer groß angelegten drahtlosen Kommunikation mit elektronischen Geräten über Millimeterwellen-Basisstationen und mehrere Relais-Basisstationen auszeichnet, beispielsweise durch das Streamen von Inhalten an mehrere AR/VR-Headsets usw.

Elf Anwendungsszenarien

In einigen Patenten hat Apple verschiedene Anwendungsszenarien von AR/VR eingehend erörtert, wie z. B. immersive Filmwiedergabe, AR-Navigation, AR-Videoanrufsystem usw.

◎ AR-Anruf (Patent Nr. 20160344972)

Basierend auf der Kameraerfassung und der Generierung von 3D-Modellen wird es verwendet, um immersive Remote-AR-Anrufe zu ermöglichen. Diese Lösung ist auf Geräten wie iPad und Apple TV einsetzbar. Ihre Besonderheit besteht darin, dass sie den Anrufer und die vom Anrufer gehaltenen Gegenstände erfassen und im Video in virtueller Form darstellen kann.

Es wird auch mit externen Kameras kombiniert, die mit RGB-Bildsensoren, Tiefensensoren, IR-Sensoren usw. ausgestattet sind, die Gesten in der Luft erkennen und die Menüsteuerung vereinfachen können.

◎ Virtueller Assistent

Es verfügt über kontextsensitive Funktionen, bei denen mithilfe von Computern Zeichen oder Bilder für Eingabeaufforderungen, Navigation und Anzeige zusätzlicher Informationen generiert werden, um Benutzer bei der Verwendung von AR/VR zu unterstützen. Neben der visuellen Unterstützung unterstützen virtuelle Assistenten auch die Sprachinteraktion.

◎ AR-Navigation

Nr. US20170213393A1: Das AR/VR-Headset von Apple unterstützt möglicherweise die visuelle Navigation, z. B. das Markieren zusätzlicher Informationen zu Gebäuden in der realen Szene, Sehenswürdigkeiten oder die Verwendung von AR zum Markieren der Lautsprecher im Auto und anderer Funktionen. Darüber hinaus wird die Gesteninteraktion unterstützt. Das Patent stammt aus der Technologie von Metaio. Neben AR-Navigationslösungen hat Metaio auch Patente für die AR-Umgebungserkennung (3D-Umgebungserfassung und Datenerkennung von Wetter, Zeit, Koordinaten usw.) angemeldet.

In einem weiteren Patent aus dem Jahr 2018 schlug Apple außerdem eine 3D-AR-Kartenlösung vor, die aus mehreren Blickwinkeln betrachtet werden kann.

◎ AR-Sportübertragung

Nr. US20200175275A1: Fügen Sie interaktive AR-Inhalte zu Sportübertragungen hinzu, um das Seherlebnis zu bereichern. Das Besondere an dieser Lösung ist, dass sie den Einsatz externer Geräte erfordert, um die Interessen des Publikums zu erkennen und auf dieser Grundlage zusätzliche Informationen anzuzeigen. Wenn Sie beispielsweise an den Schuhen eines Basketballspielers interessiert sind, zeigt das System Informationen zu den Schuhen an Auf dem Fernseher kann das Sneaker-Modell auch in Form von AR angezeigt werden, sodass der Betrachter es aus mehreren Blickwinkeln betrachten kann.

◎ Chroma-Keying mit geringer Latenz

Zoom und andere Videosoftware unterstützen bereits die Hintergrundersetzungsfunktion, und im VST-Mixed-Reality-Headset kann die Hintergrundersetzung auch gut angewendet werden, z. B. das Ersetzen der Personen und Objekte vor Ihnen durch den tatsächlichen Hintergrundstil und das Ersetzen es mit virtuellen in Echtzeit im Hintergrund. Die patentierte Lösung von Apple unterscheidet sich von herkömmlichen Lösungen zum Ersetzen des Hintergrunds dadurch, dass sie dreidimensionaler ist und einen 3D-Hintergrund statt eines 2D-Bildes darstellen kann.

◎ Mit dem Computer zusammenarbeiten

In einigen Patenten erwähnte Apple die Anwendung von AR/VR in Büroszenarien, beispielsweise die Verwendung eines virtuellen Bildschirms zur Erweiterung des Anzeigebereichs des Computerbildschirms bei einem Mac-Computer oder die Anzeige des Computerbildschirminhalts in einem Am Kopf montiertes Display. Schützen Sie die Privatsphäre des Benutzers und verhindern Sie das Ausspionieren des Bildschirms.

◎ Mobiltelefon usw. mit AR/VR-Kopfdisplay verbunden (Nr. US20190065027A1)

beschreibt eine bestimmte Split-Touch-Interaktionslösung, die Geräte wie Mobiltelefone mit Touchpads, Touch-Tasten und Displays verwendet, um die von AR/VR-Headsets angezeigten Inhalte zu steuern. Mit anderen Worten: Die Verwendung des iPhone als Controller für ein AR/VR-Headset kann als eine weitere Möglichkeit der Interaktion neben Gesten und Controllern angesehen werden und lässt sich gut in die Gerätefamilie von Apple integrieren.

◎ 360°-Videokodierungs-/Dekodierungstechnologie

Patent Nr. 20190004414 weist auf ein adaptives Auflösungs- und Projektionsformat hin. Es zeichnet sich durch mehrere voreingestellte Kodierungskonfigurationsschemata aus und Sie können wählen, ob Bilder entsprechend dem Bildeffekt eingefügt werden sollen, wodurch die Wiedergabequalität von 360° verbessert wird MR-Videos.

Obwohl wir über diese Patente verfügen, enthüllen sie nur einen kleinen Teil der Entwicklung von Apples XR-Geräten, sodass es keine Möglichkeit gibt, das endgültige Aussehen und die Funktionalität zu bestimmen. Dieser Artikel ist nur ein Ausgangspunkt und gibt Ihnen einige Hinweise und Inspiration durch diese Patente. Apples XR-Gerät muss noch angekündigt werden und wir freuen uns darauf, auf der WWDC23 einen ersten Blick darauf zu werfen.

Das obige ist der detaillierte Inhalt vonEntdecken Sie Hunderte von AR/VR-Patenten und erkunden Sie alle Aspekte von Apple XR. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!