Microsoft AR/VR-Patent teilt Lösung für die intelligente Anbringung einer virtuellen Tastatur

(Nweon, 30. Mai 2023) Bei XR-Geräten ist die virtuelle Tastatur eine gängige Eingabemethode. Herkömmliche virtuelle Tastaturen werden in einem festen Winkel und Abstand in der Nähe des Benutzers präsentiert. Manchmal wünschen sich Benutzer jedoch eine virtuelle Tastatur, die sich je nach Absicht intelligent bewegen und vor bestimmten virtuellen Objekten verankern lässt und so ein konsistentes, vorhersehbares Erlebnis bietet.

In einem holografischen Desktop-Büro möchten Benutzer beispielsweise, dass die virtuelle Tastatur direkt an der Vorderseite des virtuellen Bildschirms angebracht wird, wodurch eine Konfiguration entsteht, die der entsprechenden Positionsbeziehung zwischen der physischen Tastatur und dem physischen Bildschirm ähnelt, da der virtuelle Tastatur und virtueller Bildschirm erscheinen zusammen im selben Fenster.

In der Patentanmeldung mit dem Titel „Intelligente Tastaturbefestigung für Mixed-Reality-Eingaben“ stellte Microsoft eine intelligente Methode zur Tastaturbefestigung vor.

In Abbildung 3 ist das virtuelle Eingabegerät 305 eine virtuelle Tastatur und ist so konfiguriert, dass es die Eingabe in eine Anwendung ermöglicht, die dem virtuellen Objekt 303 entspricht. Wenn ein virtuelles Eingabegerät 305 an ein virtuelles Objekt 303 angeschlossen wird, deaktiviert das virtuelle Objekt 303 andere Mechanismen zum Empfangen von Eingaben, wie etwa foveierte Interaktion und/oder Strahleninteraktion.

In einer Ausführungsform kann sich das virtuelle Eingabegerät 305 innerhalb der Umgebung 301 bewegen, wenn sich der Kopf des Benutzers bewegt, sodass das virtuelle Eingabegerät 305 nicht mehr im Sichtfeld des Benutzers enthalten ist. Mit anderen Worten: Das virtuelle Eingabegerät 305 kann das Sichtfeld problemlos betreten oder verlassen.

Das Anbringen des virtuellen Eingabegeräts 305 an das virtuelle Objekt 303 bezieht sich auf das Erstellen einer hierarchischen Positionierungstransformationsbeziehung zwischen dem virtuellen Objekt 303 und dem virtuellen Eingabegerät 304, sodass das virtuelle Eingabegerät 306 die Position vom virtuellen Objekt 303 erbt. Die hierarchische Positionierungsbeziehung umfasst einen oder mehrere von Abstand, Richtung und Winkel zwischen dem virtuellen Objekt 303 und dem virtuellen Eingabegerät 305.

Der Versatz des virtuellen Eingabegeräts 305 und des virtuellen Objekts 303 sorgt dafür, dass das virtuelle Eingabegerät im besten ergonomischen Winkel steht. Der Versatz zwischen dem virtuellen Objekt 303 und dem virtuellen Eingabegerät 305 ist fest. Natürlich kann in einer anderen Implementierung der Versatz zwischen dem virtuellen Objekt 303 und dem virtuellen Eingabegerät 305 dynamisch bleiben.

Abbildung 4 zeigt eine MR-Umgebung mit zwei virtuellen Objekten und einem virtuellen Eingabegerät.

Die Umgebung 401 umfasst ein virtuelles Objekt 303, das der ersten Anwendung entspricht. Gleichzeitig kann der Benutzer ein zweites Anwendungsprogramm außer dem ersten Anwendungsprogramm öffnen und ein zweites virtuelles Objekt 403 erzeugen, das dem zweiten Anwendungsprogramm entspricht.

Wie das virtuelle Objekt 303 wird auch das zweite virtuelle Objekt 403 an einem bestimmten Ort innerhalb der dreidimensionalen Umgebung 401 bereitgestellt. Als Reaktion auf die Bestimmung der Absicht des Benutzers, das virtuelle Eingabegerät 305 mit dem zweiten virtuellen Objekt 403 zu verwenden, positioniert das zweite virtuelle Objekt 403 das virtuelle Eingabegerät 305 an eine Position, die näher am zweiten virtuellen Objekt 403 liegt.

Zum Beispiel kann die Bestimmung der Absicht auf der Auswahl einer Schaltfläche auf dem virtuellen Eingabegerät 305 durch den Benutzer basieren, beispielsweise einer Abfrageschaltfläche, um anzuzeigen, dass eine Benutzereingabe in Bezug auf das virtuelle Objekt 403 beabsichtigt oder erwartet ist.

Als Reaktion auf die Bestimmung wird das virtuelle Eingabegerät 305 von der ursprünglichen Position in der Nähe des virtuellen Objekts 303 gelöst und an einer neuen Position in der Nähe des zweiten virtuellen Objekts 403 wieder am zweiten virtuellen Objekt 403 befestigt.

In einer Implementierung, bei der der Benutzer zurück zur ersten Anwendung wechselt, die dem virtuellen Objekt 303 entspricht, wird das virtuelle Eingabegerät 305 an die ursprüngliche Position in der Nähe des virtuellen Objekts 303 verschoben.

Mit anderen Worten: An dem virtuellen Objekt, mit dem der Benutzer zu einem bestimmten Zeitpunkt interagieren möchte, wird ein virtuelles Eingabegerät 305 bereitgestellt.

Microsoft gibt an, dass diese Konfiguration Benutzern ein konsistentes, vorhersehbares Erlebnis bietet und von der spezifischen verwendeten Anwendung abhängt und nicht vom Standort des Benutzers in der dreidimensionalen Umgebung 301, 401.

Die spezifische Anwendung, mit der der Benutzer interagieren möchte, wird durch verschiedene Mechanismen identifiziert.

In einer Ausführungsform basiert die spezifische Anwendung, mit der der Benutzer interagieren möchte, auf dem aktuellen virtuellen Objekt oder Panel, mit dem der Benutzer interagiert. Wenn das virtuelle Objekt 303 beispielsweise eine Kontaktliste ist, kann die Eingabe nach einem Kontakt in der Kontaktliste suchen. Wenn es sich bei dem virtuellen Objekt 303 um eine Arbeitsanwendung handelt, kann die Eingabe die Arbeitsanwendung nach Schlüsselwörtern oder Dokumenten durchsuchen. Wenn es sich bei dem virtuellen Objekt 303 um eine Anwendung zur Vorfallmeldung handelt, kann die Eingabe eine Erklärung zum Ausfüllen des Vorfallberichts sein.

Das virtuelle Eingabegerät 305 ist also ein intelligentes Eingabegerät, das je nach Absicht des Benutzers von einem bestimmten virtuellen Objekt getrennt werden kann.

In einer Ausführungsform kann eine Eingabe mit der Absicht empfangen werden, das virtuelle Eingabegerät 305 vom virtuellen Objekt 303 zu entkoppeln. Die Eingabe kann eine Eingabe sein, die über das virtuelle Eingabegerät 305 empfangen wurde, ein durch die Hervorhebung 200 bestimmtes Blickmuster, eine Auswahl des UNDOCK-getrennten Symbols auf dem virtuellen Objekt 303, 403, eine Eingabe über eine bestimmte Schaltfläche auf dem virtuellen Eingabegerät 304 usw .

Die Trennung, d. h. das Abdocken, des virtuellen Eingabegeräts 305 vom virtuellen Objekt 303 ermöglicht es dem virtuellen Eingabegerät, zwischen verschiedenen virtuellen Objekten in der Umgebung 301, 401 zu wechseln, während der Benutzer stationär bleibt. Sobald das virtuelle Eingabegerät 305 angeschlossen ist, werden visuelle Hinweise oder visuelle Hilfsmittel bereitgestellt.

In einer Ausführungsform wird das virtuelle Eingabegerät 305 vom virtuellen Objekt 303 getrennt oder abgedockt und aus der Umgebung 401 entfernt. Beim nächsten Aufruf wird das virtuelle Eingabegerät 305 in der Umgebung 401 erneut instanziiert, die an das virtuelle Objekt 303 angeschlossen ist.

In anderen Ausführungsformen wird das virtuelle Eingabegerät 305 vom virtuellen Objekt 303 getrennt, verbleibt jedoch in der Umgebung 401 und an das neue und/oder nächste virtuelle Objekt 403 angeschlossen. In einem anderen SSL wird das virtuelle Eingabegerät 305 vom virtuellen Objekt 303 getrennt, verbleibt jedoch in der Umgebung 401 und bleibt an einem bestimmten Ort innerhalb der Umgebung 410.

In einer anderen Ausführungsform wird das virtuelle Eingabegerät 305 vom virtuellen Objekt 303 getrennt, verbleibt jedoch in der Umgebung 401 mit einem Versatz in der Nähe des Benutzers. Beispielsweise kann das virtuelle Eingabegerät 305 basierend auf der Position und Ausrichtung des Headsets leicht vor und links oder rechts von der Position des Benutzers gehalten werden.

Das separate virtuelle Eingabegerät 305 kann zum Benutzer oder zu bestimmten virtuellen Objekten 303, 403 aufgerufen werden, beispielsweise durch Sprachbefehle oder andere Mechanismen. Dabei befindet sich das virtuelle Eingabegerät 305 weit vom Benutzer entfernt und ermöglicht es dem Benutzer, das virtuelle Eingabegerät 304 schnell zu sich zu bringen, ohne sich bewegen zu müssen, um das virtuelle Eingabegerät 306 zu holen, und das virtuelle Eingabegerät 307 wird passiv näher heranbewegt zur Bequemlichkeit des Benutzers, gebrauchsfertige ergonomische Position.

Abbildung 5 zeigt die Umgebung mit mehreren Zielen. Die Umgebung 501 umfasst eine Vielzahl virtueller Objekte, wie beispielsweise die virtuellen Objekte 303, 403, 503. Beispielsweise kann die Umgebung 501 eine virtuelle Desktop-Umgebung sein und verschiedene virtuelle Objekte 303, 403, 503 umfassen, wobei jedes virtuelle Objekt einer anderen Anwendung innerhalb des virtuellen Desktops entspricht.

Zum Beispiel kann das virtuelle Objekt 303 eine Messaging-Anwendung sein, das virtuelle Objekt 403 kann eine Internetbrowser-Anwendung sein und das virtuelle Objekt 503 kann eine Kontaktanwendung sein.

Jedes virtuelle Objekt 303, 403, 503 ist ein separates Ziel des virtuellen Eingabegeräts 305. In Situationen, in denen der Benutzer beispielsweise regelmäßig zwischen der Bereitstellung von Eingaben für virtuelle Objekte 303, 403, 503 wechselt, möchte der Benutzer möglicherweise, dass das virtuelle Eingabegerät 305 an einem bestimmten Ort, beispielsweise in der Nähe des Benutzers, angebracht wird und als Nahgerät fungiert -Feld-Floating-Eingabegerät.

Daher kann eine visuelle Verbindung 505 zwischen dem virtuellen Eingabegerät 305 und dem virtuellen Zielobjekt bereitgestellt werden. Beispielsweise zeigt FIG. 5 eine visuelle Verbindung 505 zwischen dem virtuellen Eingabegerät 305 und dem virtuellen Objekt 303, die anzeigt, dass zu einem bestimmten Zeitpunkt eine Eingabe, die auf dem virtuellen Eingabegerät 304 empfangen wird, eine Eingabe für das virtuelle Objekt 303 generiert.

In einer Ausführungsform ist die visuelle Verbindung 505 ein virtuelles Objekt, beispielsweise eine Linie, die das virtuelle Eingabegerät 305 mit einem virtuellen Zielobjekt verbindet und das konsistente Verständnis der Benutzereingabe verbessert. In anderen Implementierungen ist der visuelle Link eine visuelle Markierung auf dem virtuellen Zielobjekt, beispielsweise ein Aufkleber, ein Stern, ein Punkt usw.

Abbildung 6 zeigt den Versatz zwischen virtuellen Objekten und virtuellen Eingabegeräten.

Wie in Abbildung 6 dargestellt, wird das virtuelle Eingabegerät 305 in einem bestimmten Abstand 603 vom virtuellen Objekt 303 bereitgestellt. Wenn sich das virtuelle Objekt 303 oder das virtuelle Eingabegerät 305 bewegt, wird ein Abstand 603 zwischen dem virtuellen Objekt 303 und dem virtuellen Eingabegerät aufrechterhalten.

Mit anderen Worten: Wenn sich das virtuelle Objekt 303 um eine bestimmte Entfernung von seinem ursprünglichen Standort bewegt, bewegt sich das virtuelle Eingabegerät 305 auch um eine bestimmte Entfernung von seinem ursprünglichen Standort, um den Abstand 603 zwischen dem virtuellen Objekt 303 und dem virtuellen Eingabegerät 304 aufrechtzuerhalten.

Wenn sich das virtuelle Eingabegerät 305 um eine bestimmte Entfernung von seinem ursprünglichen Standort entfernt, bewegt sich das virtuelle Objekt 303 ebenfalls um eine bestimmte Entfernung von seinem ursprünglichen Standort, um den Abstand 603 zwischen dem virtuellen Objekt 303 und dem virtuellen Eingabegerät 304 aufrechtzuerhalten.

Entfernung 603 basiert zumindest teilweise auf der besonderen Art des Eingabegeräts, das das virtuelle Eingabegerät 305 darstellt. Beispielsweise ähnelt eine virtuelle Tastatur einer physischen Tastatur mit ähnlichen Größen und Formen.

Wenn das virtuelle Objekt 303 bewegt wird, kann sich das virtuelle Eingabegerät 305 mit dem virtuellen Objekt 303 bewegen oder dem virtuellen Objekt 303 folgen, um den Abstand 603 und den Winkel 605 zwischen dem virtuellen Objekt 303 und dem virtuellen Eingabegerät 303 aufrechtzuerhalten. Dementsprechend kann in verschiedenen Ausführungsformen ein Versatz zwischen dem virtuellen Objekt 303 und dem virtuellen Eingabegerät 305 bereitgestellt werden.

Die Abbildungen 7A-7D veranschaulichen das sich ändernde Sichtfeld virtueller Objekte und virtueller Eingabegeräte.

Wie in Abbildung 7A gezeigt, befinden sich das virtuelle Objekt 303 und das virtuelle Eingabegerät 305 vollständig im ersten Sichtfeld 705. Mit anderen Worten: Sowohl das virtuelle Objekt 303 als auch das virtuelle Eingabegerät 305 befinden sich im vollständigen Blickfeld des Benutzers.

In Abbildung 7B befinden sich sowohl das virtuelle Objekt 303 als auch das virtuelle Eingabegerät 305 vollständig außerhalb des zweiten Sichtfelds 710. Das Sichtfeld ändert sich von einem ersten Sichtfeld 705 zu einem zweiten Sichtfeld 710 . Beispielsweise bewegt der Benutzer seinen Kopf, wodurch das Headset bewegt wird, wodurch sich ein erstes Sichtfeld 705 ändert, aktualisiert, ändert usw. und ein zweites Sichtfeld 710 entsteht. In anderen Implementierungen hat sich das Sichtfeld selbst möglicherweise nicht geändert, aber das virtuelle Objekt 303 und das virtuelle Eingabegerät 305 haben sich möglicherweise aus dem Sichtfeld bewegt, beispielsweise dadurch, dass der Benutzer das virtuelle Objekt 303 und das virtuelle Eingabegerät 305 versehentlich in das erste gezogen hat Sichtfeld. 705 außen.

Daher stellt das zweite Sichtfeld 710 eine Herausforderung dar, da der Benutzer das virtuelle Objekt 303 und das virtuelle Eingabegerät 305 nicht sehen kann, was die Bereitstellung von Eingaben für das virtuelle Objekt 303 über das virtuelle Eingabegerät 304 zu einer Herausforderung macht.

Daher kann die Entfernung des virtuellen Objekts 303 und des virtuellen Eingabegeräts 305 aus dem Sichtfeld mit der im Patent beschriebenen Methode korrigiert werden.

Abbildung 7C zeigt ein drittes Sichtfeld 715, in dem das virtuelle Objekt 303 und das virtuelle Eingabegerät 305 nach und nach wieder in das Sichtfeld eingeführt werden. Anstatt virtuelle Objekte 303 und virtuelle Eingabegeräte 305 praktisch augenblicklich wieder an ihre ursprüngliche Position innerhalb des Sichtfelds zu schnappen, werden virtuelle Objekte 303 und virtuelle Eingabegeräte 305 nach und nach wieder in das Sichtfeld eingeführt, um ein angenehmeres Erlebnis für den Benutzer aufrechtzuerhalten Benutzer.

Abbildung 7D zeigt das vierte Sichtfeld 720, nachdem das virtuelle Objekt 303 und das virtuelle Eingabegerät 305 wieder im Sichtfeld platziert wurden. Das vierte Sichtfeld 720 ähnelt im Wesentlichen dem ersten Sichtfeld 705, da das virtuelle Objekt 303 und das virtuelle Eingabegerät 305 an ihre ursprünglichen Positionen im ersten Sichtfeld 705 zurückgebracht wurden.

Verwandte Patente: Microsoft-Patent |. Intelligenter Tastaturaufsatz für Mixed-Reality-Eingaben

Microsofts Patentanmeldung mit dem Titel „Intelligenter Tastaturaufsatz für Mixed-Reality-Eingabe“ wurde kürzlich vom US-amerikanischen Patent- und Markenamt veröffentlicht.

Das obige ist der detaillierte Inhalt vonMicrosoft AR/VR-Patent teilt Lösung für die intelligente Anbringung einer virtuellen Tastatur. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!