가상 키보드의 스마트 부착을 위한 Microsoft AR/VR 특허 공유 솔루션

(뉴원 2023년 5월 30일) XR 기기의 경우 가상 키보드가 일반적인 입력 방법입니다. 기존 가상 키보드는 고정된 각도와 거리로 사용자 가까이에 표시됩니다. 그러나 때때로 사용자는 지능적으로 움직이고 의도에 따라 특정 가상 개체 앞에 고정되어 일관되고 예측 가능한 경험을 제공할 수 있는 가상 키보드를 원합니다.

예를 들어 홀로그램 데스크탑 사무실에서 사용자는 가상 키보드가 가상 화면 전면에 직접 부착되어 물리적 키보드와 물리적 화면 간의 해당 위치 관계와 유사한 구성을 생성하기를 원합니다. 키보드와 가상 화면이 같은 창에 함께 나타납니다.

"혼합 현실 입력을 위한 지능형 키보드 부착"이라는 특허 출원에서 마이크로소프트는 스마트 키보드 부착 방식을 선보였습니다.

도 3에서 가상 입력 장치(305)는 가상 키보드이며, 가상 객체(303)에 대응하는 애플리케이션에 대한 입력을 가능하게 하도록 구성된다. 가상 입력 장치(305)가 가상 객체(303)에 부착되면, 가상 객체(303)는 포비티드 상호작용 및/또는 광선 상호작용과 같은 입력을 수신하기 위한 다른 메커니즘을 비활성화합니다.

일 실시예에서, 가상 입력 장치(305)는 사용자의 머리가 움직일 때 환경(301) 내에서 움직일 수 있으므로, 가상 입력 장치(305)는 더 이상 사용자의 시야에 포함되지 않습니다. 즉, 가상 입력 장치(305)는 쉽게 시야에 들어가거나 시야에서 나갈 수 있다.

가상 객체(303)에 가상 입력 장치(305)를 부착한다는 것은 가상 객체(303)와 가상 입력 장치(304) 사이에 계층적 위치 변환 관계를 형성하여 가상 입력 장치(306)가 가상 객체(303)의 위치를 ​​상속받는 것을 의미한다. 계층적 위치 관계는 가상 객체(303)와 가상 입력 장치(305) 사이의 거리, 방향, 각도 중 하나 이상을 포함한다.

가상 입력 장치(305)와 가상 객체(303)의 오프셋은 최적의 인체공학적 각도에서 가상 입력 장치를 제공합니다. 가상 객체(303)와 가상 입력 장치(305) 사이의 오프셋은 고정되어 있다. 물론, 다른 구현에서, 가상 객체(303)와 가상 입력 장치(305) 사이의 오프셋은 동적으로 유지될 수 있다.

그림 4는 두 개의 가상 객체와 하나의 가상 입력 장치를 포함하는 MR 환경을 보여줍니다.

환경(401)은 첫 번째 애플리케이션에 대응하는 가상 객체(303)를 포함합니다. 동시에, 사용자는 제1 응용 프로그램이 아닌 제2 응용 프로그램을 오픈하여, 제2 응용 프로그램에 대응하는 제2 가상 객체(403)를 생성할 수 있다.

가상 객체(303)와 마찬가지로 제2 가상 객체(403)도 3차원 환경(401) 내 특정 위치에 제공된다. 제2 가상 객체(403)와 함께 가상 입력 장치(305)를 활용하려는 사용자의 의도가 판단되면, 제2 가상 객체(403)는 가상 입력 장치(305)를 제2 가상 객체(403)에 더 가까운 위치로 재배치한다.

예를 들어, 의도의 결정은 가상 객체(403)에 대한 사용자 입력이 의도되거나 예상된다는 것을 나타내기 위해 쿼리 버튼과 같은 가상 입력 장치(305)에 있는 버튼의 사용자 선택에 기초할 수 있습니다.

판단에 따라, 가상 입력 장치(305)는 가상 객체(303)에 가까운 원래 위치에서 분리되고, 제2 가상 객체(403)에 가까운 새로운 위치에서 제2 가상 객체(403)에 다시 부착된다.

사용자가 가상 ​​객체(303)에 대응하는 첫 번째 애플리케이션으로 다시 전환하는 구현에서, 가상 입력 장치(305)는 가상 객체(303)에 가까운 원래 위치로 재배치된다.

즉, 특정 시점에 사용자가 상호작용하고자 하는 가상 객체에는 가상 입력 장치(305)가 제공된다.

Microsoft는 이 구성이 사용자에게 일관되고 예측 가능한 경험을 제공하며 3차원 환경(301, 401)에서 사용자의 위치가 아니라 사용 중인 특정 응용 프로그램에 따라 달라진다고 말합니다.

사용자가 상호 작용하려는 특정 애플리케이션은 다양한 메커니즘을 통해 식별됩니다.

일 실시예에서, 사용자가 상호작용하려는 특정 애플리케이션은 사용자가 상호작용하고 있는 현재 가상 개체 또는 패널을 기반으로 합니다. 예를 들어, 가상 객체(303)가 연락처 목록인 경우, 입력은 연락처 목록에서 연락처를 검색할 수 있다. 가상 객체(303)가 업무 애플리케이션인 경우, 입력은 업무 애플리케이션에서 키워드나 문서를 검색할 수 있다. 가상 객체(303)가 사건 신고 어플리케이션인 경우, 입력은 사건 신고서를 작성하기 위한 설명일 수 있다.

즉, 가상 입력 장치(305)는 사용자의 의도에 따라 특정 가상 객체와 분리될 수 있는 지능형 입력 장치이다.

일 실시예에서는 가상 입력 장치(305)와 가상 객체(303)를 분리하려는 의도의 입력을 수신할 수 있다. 입력은 가상 입력 장치(305)를 통한 입력, 하이라이트(200)에 의해 결정된 시선 패턴, 가상 객체(303, 403) 상의 UNDOCK 분리 아이콘 선택, 가상 입력 장치(304)의 특정 버튼에 대한 입력 등이 될 수 있다. .

가상 객체(303)로부터 가상 입력 장치(305)의 분리, 즉 도킹 해제는 사용자가 정지 상태를 유지하는 동안 가상 입력 장치가 환경(301, 401) 내의 서로 다른 가상 객체 사이를 전환할 수 있게 해줍니다. 가상 입력 장치(305)가 부착되면 시각적 단서 또는 시각적 보조 자료가 제공됩니다.

일 실시예에서, 가상 입력 장치(305)는 가상 객체(303)에서 분리되거나 도킹 해제되어 환경(401)에서 제거됩니다. 다음 호출에서 가상 입력 장치(305)는 가상 객체(303)에 연결된 환경(401)에서 다시 인스턴스화됩니다.

다른 실시예에서, 가상 입력 장치(305)는 가상 객체(303)로부터 분리되지만 환경(401)에 남아 새로운 및/또는 다음 가상 객체(403)에 부착된다. 다른 SSL에서는 가상 입력 장치(305)가 가상 객체(303)에서 분리되지만 환경(401)에 남아 있고 환경(410) 내의 특정 위치에 남아 있습니다.

다른 실시예에서, 가상 입력 장치(305)는 가상 객체(303)에서 분리되지만 사용자에게 가까운 오프셋으로 환경(401)에 남아 있습니다. 예를 들어, 가상 입력 장치(305)는 헤드셋의 위치 및 방향에 따라 사용자가 위치한 곳의 약간 앞쪽, 왼쪽 또는 오른쪽에 쥐어질 수 있다.

별도의 가상 입력 장치(305)는 음성 명령이나 기타 메커니즘 등을 통해 사용자 또는 특정 가상 객체(303, 403)에게 호출될 수 있다. 여기서, 가상 입력 장치(305)는 사용자로부터 멀리 위치하여 사용자가 가상 ​​입력 장치(306)를 회수하기 위해 이동할 필요 없이 신속하게 가상 입력 장치(304)를 가져갈 수 있게 하고, 가상 입력 장치(307)는 수동적으로 더 가까이 이동하게 된다. 사용자의 편의를 위해 바로 사용할 수 있는 인체공학적 위치.

그림 5는 다목적 환경을 보여줍니다. 환경(501)은 가상 객체(303, 403, 503)와 같은 복수의 가상 객체를 포함합니다. 예를 들어, 환경(501)은 가상 데스크탑 환경일 수 있고 서로 다른 가상 객체(303, 403, 503)를 포함할 수 있으며, 각각의 가상 객체는 가상 데스크탑 내의 서로 다른 애플리케이션에 대응합니다.

예를 들어, 가상 개체 303은 메시징 애플리케이션일 수 있고, 가상 개체 403은 인터넷 브라우저 애플리케이션일 수 있으며, 가상 개체 503은 연락처 애플리케이션일 수 있습니다.

각각의 가상 객체(303, 403, 503)는 가상 입력 장치(305)의 별도의 대상이다. 사용자가 가상 ​​객체(303, 403, 503)에 입력을 제공하는 것 사이를 주기적으로 전환할 수 있는 상황에서, 사용자는 가상 입력 장치(305)가 사용자와 가까운 특정 위치에 부착되어 근처 장치 역할을 하도록 할 수 있습니다. -필드 부동 입력 장치.

따라서, 가상 입력 장치(305)와 대상 가상 객체 사이에 시각적 링크(505)가 제공될 수 있다. 예를 들어, 도 5는 특정 시간에 가상 입력 장치(304)에서 수신된 입력이 가상 객체(303)에 대한 입력을 생성할 것임을 나타내는 가상 입력 장치(305)와 가상 객체(303) 사이의 시각적 링크(505)를 보여줍니다.

일 실시예에서, 시각적 링크(505)는 가상 입력 장치(305)를 대상 가상 객체에 연결하고 사용자 입력에 대한 일관된 이해를 향상시키는 선과 같은 가상 객체입니다. 다른 구현에서, 시각적 링크는 스티커, 별, 점 등과 같은 대상 가상 객체의 시각적 표시입니다.

그림 6은 가상 객체와 가상 입력 장치 간의 오프셋을 보여줍니다.

도 6에 도시된 바와 같이, 가상 입력 장치(305)는 가상 객체(303)로부터 일정 거리(603)에 제공된다. 가상 객체(303)와 가상 입력 장치(305) 중 어느 하나가 이동하는 경우, 가상 객체(303)와 가상 입력 장치 사이에는 거리(603)가 유지된다.

즉, 가상 객체(303)가 원래 위치에서 일정 거리만큼 이동하면 가상 입력 장치(305)도 원래 위치에서 일정 거리만큼 이동하여 가상 객체(303)와 가상 입력 장치(304) 사이의 거리(603)를 유지하게 된다.

마찬가지로, 가상 입력 장치(305)가 원래 위치에서 일정 거리를 이동하면 가상 객체(303)도 원래 위치에서 일정 거리를 이동하여 가상 객체(303)와 가상 입력 장치(304) 사이의 거리(603)를 유지한다.

거리(603)는 가상 입력 장치(305)가 나타내는 특정 유형의 입력 장치에 적어도 부분적으로 기반합니다. 예를 들어 가상 키보드는 크기와 모양이 비슷한 실제 키보드와 유사합니다.

가상 객체(303)가 이동하는 경우, 가상 입력 장치(305)는 가상 객체(303)와 가상 입력 장치(303) 사이의 거리(603) 및 각도(605)를 유지하기 위해 가상 객체(303)와 함께 이동하거나 가상 객체(303)를 따라갈 수 있다. 이에 따라, 다양한 실시예에서 가상 객체(303)와 가상 입력 장치(305) 사이의 오프셋이 제공될 수 있다.

그림 7A-7D는 가상 객체와 가상 입력 장치의 시야 변화를 보여줍니다.

도 7A에 도시된 바와 같이, 가상 객체(303)와 가상 입력 장치(305)는 완전히 제1 시야(705) 내에 있다. 즉, 가상 객체(303)와 가상 입력 장치(305) 각각은 사용자의 전체 화면에 표시됩니다.

도 7b에서 가상 객체(303)와 가상 입력 장치(305) 각각은 제2 시야(710) 바깥에 완전히 있다. 시야는 제1 시야(705)에서 제2 시야(710)로 변경된다. 예를 들어, 사용자는 머리를 움직여 헤드셋을 움직이게 하며, 이는 제1 시야(705)에서 제2 시야(710)로 변경, 업데이트, 변경 등을 합니다. 다른 구현에서, 시야 자체는 변경되지 않았을 수 있지만, 가상 객체(303)와 가상 입력 장치(305)는 사용자가 실수로 가상 객체(303)와 가상 입력 장치(305)를 첫 번째 영역으로 드래그하는 등의 방식으로 시야 밖으로 이동했을 수 있습니다. 시야 705 이상.

따라서, 제2 시야(710)는 사용자가 가상 ​​객체(303)와 가상 입력 장치(305)를 볼 수 없기 때문에 문제가 되며, 이는 가상 입력 장치(304)를 통해 가상 객체(303)에 입력을 제공하는 것을 어렵게 만듭니다.

따라서, 가상 객체(303)와 가상 입력 장치(305)가 시야에서 제거되는 현상은 특허에 설명된 방법을 사용하여 보정할 수 있습니다.

그림 7C는 가상 객체(303)와 가상 입력 장치(305)가 점차적으로 시야에 다시 도입되는 제3 시야(715)를 보여줍니다. 가상 객체(303)와 가상 입력 장치(305)를 시야 내의 원래 위치로 가상적으로 순간적으로 스냅하는 대신, 가상 객체(303)와 가상 입력 장치(305)는 사용자에 대한 보다 편안한 경험을 유지하기 위해 점차적으로 시야에 다시 도입됩니다. 사용자.

그림 7D는 가상 객체(303)와 가상 입력 장치(305)가 다시 시야에 배치된 후의 네 번째 시야(720)를 보여줍니다. 제4 시야(720)는 가상 객체(303) 및 가상 입력 장치(305)가 제1 시야(705)에서 원래 위치로 복귀되었다는 점에서 제1 시야(705)와 실질적으로 유사하다.

관련 특허: Microsoft 특허 | 혼합 현실 입력을 위한 지능형 키보드 부착 |

"혼합 현실 입력을 위한 지능형 키보드 부착"이라는 제목의 Microsoft 특허 출원이 최근 미국 특허청에 의해 공개되었습니다.

위 내용은 가상 키보드의 스마트 부착을 위한 Microsoft AR/VR 특허 공유 솔루션의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!