HoloLens 내부 PCIe 데이터 링크 전송 개선: Microsoft는 AR/VR 특허를 공유합니다.

(2023년 12월 27일) 유선 연결은 한 노드를 다른 노드에 물리적으로 연결하는 "하드 링크"라고도 합니다. 유선 연결 중 하나는 PCIe입니다. PCIe는 고속 노드를 연결하는 데 사용되는 인터페이스이며, 고속 연결 터미널과 PCIe와 같은 프로토콜은 상당한 이점을 제공하지만 이러한 유형의 터미널이 작동하려면 높은 전력이 필요합니다. 헤드셋과 같은 배터리 구동 컴퓨팅 아키텍처의 경우 이는 시스템에 큰 부담을 줍니다.

"상호 연결 네트워크의 노드 간 오류 복구 및 전력 관리"라는 제목의 특허 출원에서 Microsoft는 데이터 재전송 방법 없이 오류 조건을 복구하여 전송 노드와 수신 노드 간의 전송을 개선함으로써 시스템을 줄이는 데 도움을 준다고 설명합니다. 헤드셋에 부담을 줍니다.

일 실시예에서는 데이터 스트리밍을 시작합니다. 데이터 스트림에는 다양한 유형의 데이터 패킷이 포함됩니다. ECC(오류 정정 코드)는 선택적으로 데이터 유형 패킷을 제어하는 ​​데 적용됩니다. 송신 노드와 수신 노드는 여러 가상 채널이 있는 하드 링크를 통해 연결됩니다. 각 가상 채널은 해당 전력 소비 노드와 연결됩니다.

수신 노드가 제어 데이터 형식의 패킷을 수신하면 필요한 경우 재전송 없이 오류 정정이 수행됩니다. 각 가상 채널에 대한 최종 데이터 유형 패킷을 전송할 때 송신 노드는 종료 조건 유형 패킷을 전송합니다. 해당 가상 채널에 대응되는 해당 전력 소비 노드는 활성 상태에서 저전력 상태로 천이된다.

특정 실시예는 가상 채널을 통한 패킷 전송이 완료되는 시기를 식별하고, 패킷 전송이 완료되면 노드가 저전력 상태에 들어가게 함으로써 배터리 구동식 장치의 전력 사용량을 개선하도록 구성됩니다.

그림 2에 표시된 것처럼 상호 연결 네트워크 200의 예가 여기에 표시됩니다. 상호연결 네트워크(200)는 노드(205) 및 노드(210)와 같은 임의 수의 상호연결 노드를 포함할 수 있다. 노드 205 및 210은 HPU 홀로그램 처리 장치와 같은 다양한 유형의 컴퓨팅 구성 요소일 수 있습니다

그림과 같이 노드 205는 고속링크 215를 통해 노드 210과 연결되어 있다. 고속 링크(215)는 고속 데이터 전송을 지원하는 임의의 유형의 물리적 채널 연결일 수 있다.

본 발명의 설명된 실시예는 임의 개수의 가상 채널을 포함하도록 고속 링크(215)를 가상화할 수 있습니다. 예를 들어, 하드 링크 240은 고속 링크 215를 나타냅니다. 하드 링크(240)는 가상 채널(245, 250, 255, 260)과 같은 임의 개수의 가상 채널을 포함하는 것으로 도시되어 있습니다. 패킷은 패킷 265와 같은 다양한 가상 채널을 통해 이동하는 것으로 표시됩니다.

각 가상 채널은 해당 버퍼와 연결되어 있습니다. 예를 들어, 가상 채널(245)은 버퍼(270)와 연관될 수 있고, 가상 채널(250)은 버퍼(275)와 연관될 수 있다. 다른 가상 채널은 해당 버퍼와 연결됩니다. 각 버퍼의 해당 버퍼 크기는 280입니다. 본 발명의 원리에 따르면, 하드웨어는 다양한 요청자(즉, 수신 노드) 사이의 채널 대역폭 균형을 유지할 수 있습니다.

그림 3과 4는 헤드 마운트 디스플레이의 예입니다.

고속 링크(410A)는 전면 하우징에 위치한 컴퓨팅 장치와 후면 하우징에 위치한 컴퓨팅 장치 간에 고속 디스플레이 데이터 및/또는 센서 데이터를 전송하는 데 사용될 수 있습니다. 고속링크(410A)는 낮은 대기시간을 가지도록 설계되어 많은 수의 컴퓨팅 사이클이나 통신을 통과할 수 있다. 대조적으로, 저속 링크(405A)는 전력, 접지 또는 스위칭 메커니즘을 제공하는 데 사용될 수 있습니다.

도 2의 고속 링크(215)는 도 4의 고속 링크(410A)를 나타낼 수 있고, 도 2의 노드(205 및 210)는 디스플레이 회로(420A), CPU(420B 및 440A), GPU와 같은 도 4에 도시된 임의의 컴퓨팅 장치를 나타낼 수 있습니다. 420C 및 4406, SOC 420D 및 HPU 440C.

그림 8에는 작동 요구 사항 800이 나열되어 있습니다. 처음에, 운영 요구사항(800)은 실시간 데이터 요구사항(805)을 포함합니다. 앞서 헤드셋에 대해 논의한 것처럼 사용자에게 콘텐츠를 표시하는 데 사용되는 헤드셋에는 실시간 요구 사항 805가 있으므로 데이터 재전송을 피하시기 바랍니다

또한 헤드셋의 콘텐츠는 헤드셋의 자세/방향, MR 장면의 장면 변경, 홀로그램과의 상호 작용 등 다양한 요인에 따라 동적으로 변경됩니다. 따라서 헤드셋에서 구현될 때 실시간 데이터 요구 사항(805)을 충족하려면 헤드셋의 한 노드에서 다른 노드로의 데이터 전송이 필요할 수 있습니다. 이는 기존 시스템이 데이터 오류가 발생할 때 수행하는 것처럼 이제 헤드셋 구현에는 데이터를 재전송하는 기능이 없음을 의미합니다.

실시간 데이터 요청 805로 인해 오류 해결 또는 수정을 위한 재전송이 불가능합니다. 따라서 Microsoft의 발명품에서는 오류에 대응하는 새로운 기술이 도입되었습니다.

또한 운영 요구사항 800에는 낮은 오버헤드 요구사항 810이 포함됩니다. 앞서 언급했듯이 노드 간 하드 링크에는 대역폭이 제한되어 있습니다. 본 발명에 설명된 원리는 실시간 데이터 요구 사항(805)을 충족할 뿐만 아니라 버스 프로토콜에 약간의 추가 오버헤드를 배치할 수 있는 오류 정정 기술을 제공합니다.

800 작동 요구 사항에는 저전력 소비 요구 사항 815도 포함되어야 합니다. 데이터 흐름의 특정 특성에 따라 실시예는 전력 소비를 줄이기 위해 전력 소비 노드를 선택적으로 끌 수 있습니다. 예를 들어, 헤드셋 환경에서 실시예는 노드 간에 전송되는 특정 패킷을 감지하여 레이저를 저전력 상태로 전환할 수 있습니다

위의 요구 사항을 달성하기 위해 실시예에서는 특정 유형의 데이터 패킷이 데이터 흐름의 한 노드에서 다른 노드로 전송되도록 합니다. 도 9는 도 2에서 논의된 패키지를 대표하는 예시적인 패키지(900)를 도시한다. 데이터 패킷(900)이 제어 데이터 유형 데이터 패킷(905), 비제어 데이터 유형 데이터 패킷(910) 및 종료 조건 데이터 패킷(915)을 포함하여 다양한 형태를 취할 수 있다는 점은 주목할 가치가 있습니다.

모든 가상 채널이 해당 데이터 스트림 전송을 완료한 후 데이터 스트림 전송을 완료한 마지막 가상 채널은 추가 최종 종료 조건 패킷을 전송하여 모든 가상 채널의 상태를 제공합니다. 전송 노드는 모든 가상 채널이 검색을 위해 해당 데이터 스트림 전송을 완료할 때까지 가상 채널에 대한 새 트래픽을 전송하지 않습니다. 새 스캔이 시작되거나 새 프레임이 시작되면 가상 채널이 패킷 전송을 다시 시작합니다.

제어 데이터 유형 패키지 905는 특정 작업이 수행되는 방식을 제어하는 ​​데 사용되는 패키지 유형입니다. 예를 들어, 헤더에 도시된 예를 참조하면, 제어 데이터 타입 패킷(905)은 레이저가 발사되는 시점에 대한 정보, 타이밍 정보, 페이로드 타입 정보, 가상 채널 정보를 포함할 수 있으며, 레이저 펄스가 어디에 있는지에 대한 정보를 더 포함할 수 있다. 배치

제어 데이터 유형 패킷(905)에는 사용할 채널 또는 가상 채널을 나타내는 헤더 정보도 포함될 수 있습니다. 예를 들어, 헤드셋의 각 레이저는 자체 가상 채널과 연결될 수 있습니다. 제어 데이터 타입 패킷(905)에는 가상 채널의 해당 레이저에 대한 제어 정보와 가상 채널 정보가 포함될 수 있다

제어 데이터 유형 패킷 905의 중요성으로 인해 패킷은 오류 수정 코드 ECC 925를 사용하여 보호됩니다. 명확히 말하면 제어 데이터 유형 패킷(905)에 포함된 시간 및 위치 정보는 차등적으로 압축되어 매우 중요하므로 전송 중에 발생할 수 있는 오류로부터 데이터를 보호하기 위해 ECC(925)가 사용됩니다.

제어 데이터 유형 패킷 905에 포함된 데이터에 오류가 허용되면 전체 스캔이 손상되어 결과 이미지 프레임에 아티팩트가 도입될 수 있습니다.

그림 10은 그림 9의 ECC 925를 나타내는 ECC 1000에 대한 추가 설명을 제공합니다. 구체적으로, ECC 1000은 단일 비트 오류 정정(1005) 및 이중 비트 오류 정정(1010)을 포함하여 적어도 두 가지 유형의 보호를 포함합니다.

일 실시예에서 오류 보호는 x비트 오류 정정 및 x+1비트 오류 감지입니다. ECC 1000이 오류율을 지원하는지 확인하려면 ECC 1000을 선택하십시오. ECC 1000은 제어 데이터 유형 패킷당 8비트 또는 제어 데이터 유형 패킷의 길이에 따라 선택되는 다른 비트 수로 사용할 수 있습니다.

그림 9로 돌아가서, 비제어 데이터 유형 패킷(910)은 색상 강도, 지속 시간, 레이저 펄스 크기 등과 같은 스캔에서 특정 픽셀을 조명하는 방법과 같은 페이로드 정보가 포함된 패킷입니다. 따라서, 비제어 데이터 유형 패킷(910)은 픽셀이 조명되는 방식의 메커니즘을 설명하는 픽셀 데이터(930)를 포함합니다.

단일 제어 데이터 유형 패킷이 각각의 새로운 데이터 흐름에서 가상 채널을 통해 전송될 수 있지만, 비제어 데이터 유형 패킷의 수는 데이터 흐름에서 전송될 수 있습니다. 또한 단일 비제어 데이터 유형 패킷이 손상되면 단일 픽셀만 손상될 수 있습니다.

헤드셋의 재생 빈도는 일반적으로 90Hz~120Hz이며 해상도가 매우 높기 때문에 사용자는 개별 픽셀의 손상을 느끼지 못할 수 있습니다. 이러한 조건이 주어지면, 실시예는 비제어 데이터 유형 패킷(910)에 ECC를 부과하는 것을 선택적으로 방지합니다. 비제어 데이터 유형 패킷 910에 나타나는 오류는 이러한 오류의 영향이 최소화되므로 간단히 받아들일 수 있습니다

컨트롤 데이터 타입 패킷(905)에 ECC 925를 적용함으로써, ECC 925는 수신 노드에서 오류 정정 및 검출을 가능하게 하므로, 컨트롤 데이터 타입 패킷(905)을 재전송할 필요가 없고 실시간 처리가 가능하므로, 그림 8 수요 805의 실시간 데이터.

비제어 데이터 유형 패킷(910)이 아닌 제어 데이터 유형 패킷(905)에만 ECC(925)를 부과함으로써 실시예는 추가 데이터가 다중 패킷이 아닌 단일 패킷에만 적용되기 때문에 낮은 오버헤드 요구 사항(810)을 충족합니다. 따라서 추가 오버헤드도 무시할 수 있습니다

또한 ECC를 적용하면 실시예에서는 오류가 감지되면 자동으로 복구할 수 있으므로 자동 하드웨어 복구 요구 사항 825를 충족할 수 있습니다. 따라서 실시예는 데이터 유형 또는 오히려 다른 데이터 패킷 유형에 기초하여 서로 다른 데이터 보호 요구 사항을 부과합니다.

종료 조건 패키지 915는 데이터 흐름이 완료되었을 때 트리거하는 데 사용되는 패키지입니다. 즉, 모든 비제어 데이터 유형 패킷이 전송되면 종료 조건 패킷 915가 데이터 흐름의 마지막 패킷으로 전송됩니다

특정 스캔에서 특정 레이저에 의해 픽셀이 조명되지 않으면 레이저의 해당 가상 채널에서 전송되는 제어 데이터 유형 패킷 또는 비제어 데이터 유형 패킷이 없을 수 있습니다. 대신, 종료 조건 패킷 915만 전송될 수 있습니다. 가능한 오류를 완화하기 위해 여러 종료 조건 패킷을 전송할 수 있습니다.

그림 11은 여러 가상 채널(1100)과 그림 10에 소개된 세 가지 다른 패킷 유형이 전송되는 예시 시나리오를 보여줍니다. 그림 11은 12개의 가상 채널과 왼쪽에서 오른쪽으로 흐르는 데이터 흐름이 있는 시나리오를 보여줍니다. 또한 다양한 음영 기술을 사용하여 다양한 가방 유형을 보여줍니다. 이 예제 시나리오에서 각 가상 채널은 헤드셋의 단일 레이저에 해당하며 각 가상 채널에는 전송되는 해당 데이터 스트림이 있습니다.

그림 11은 채널 1의 데이터 흐름이 제어 데이터 유형 패킷으로 시작한 다음 5개의 비제어 데이터 유형 패킷을 포함하고 종료 조건 패킷을 포함하는 방법을 보여줍니다. 채널 2도 유사하며 제어 데이터 유형 패킷, 두 개의 비제어 데이터 유형 패킷 및 종료 조건 패킷을 포함합니다. 채널 1과 채널 2는 채널에 해당하는 레이저가 스캔의 픽셀을 비추는 데 사용되므로 데이터를 전송합니다.

채널 3은 스캔된 픽셀을 조명하는 데 사용되지 않는 레이저에 해당합니다. 따라서 채널 3을 통해 전송되는 데이터 스트림에는 종료 조건 패킷만 포함된다. 이 종료 조건 패킷은 해당 레이저가 이 특정 스캔에 사용되지 않을 것임을 유용하게 알려줍니다.

따라서 특정 스캔 중에 레이저를 사용하지 않으려는 경우 레이저의 가상 채널을 통해 전송되는 데이터 스트림에는 하나 이상의 최종 조건 패킷만 포함됩니다.

그림 12는 그림 11의 가상 채널 1100을 나타내는 가상 채널 1200에 중점을 둡니다. 그림 12는 종료 조건 패킷이 채널 1을 통해 전송되는 방법을 보여줍니다. 종료 조건 패킷은 해당 전력 소비 노드가 전력 소비 모드에서 소비 전력 절감 모드로 전환할 수 있음을 시스템에 알리는 트리거(1210)로 동작한다. 이 트리거링은 이제 시스템이 전원 노드가 유휴 상태이고 절전 모드로 전환할 수 있음을 인식하므로 유용합니다.

예를 들어, 헤드 마운트 디스플레이 환경에서 헤드 마운트 디스플레이는 레이저 송신기(1215)를 포함하고, 그 자체에는 레이저(1215A, 1215B, 1215C)가 포함됩니다. 채널 1은 특히 레이저(1215A)에 대응하는 가상 채널입니다. 채널 1을 통해 종료 조건 패킷을 전송하면 시스템은 레이저(1215A)의 사용이 이제 완료되었음을 인식하게 되고 따라서 레이저 광을 생성하는 활성 모드(1220)에서 저전력 모드(1225) 또는 가능하면 오프 모드(1230)로 전환할 수 있습니다.

그림 12에 표시된 것처럼 종료 조건이 트리거되어 레이저 1215A가 레이저 광 방출을 중지하는 반면, 레이저 1215B 및 1215C는 계속해서 레이저 광을 방출할 수 있습니다. 그림 11에 따르면, 각각의 서로 다른 가상 채널에서 종료 상태 데이터 패킷을 전송함으로써 각 가상 채널에 해당하는 노드는 저전력 소모 상태가 되어 시스템의 전력을 유지하게 된다

그림 11로 돌아가면 채널 1이 종료 조건 패킷을 전송하는 마지막 채널로 표시됩니다. 어떤 가상 채널이 종료 조건 패킷을 마지막으로 전송하는지에 상관없이, 가상 채널의 데이터 흐름의 작업은 소위 캡슐화 작업을 수행하는 것이며, 여기서 종료 조건 패킷은 다음과 같이 "최종" 종료 조건 유형 패킷(1315)을 구성합니다. 그림 13

에 나와 있습니다.

최종 종료 조건 유형 패킷(1315)은 다른 모든 가상 채널에 대한 모든 데이터 흐름이 완료되었음을 나타내는 추가 정보를 수신 노드에 제공합니다. 이 기능은 최종 종료 조건 유형 패킷(1315)이 스캔 종료 신호를 보내기 때문에 헤드 장착형 디스플레이 환경에 유용합니다.

관련 특허: Microsoft 특허 | 상호 연결 네트워크의 노드 간 오류 복구 및 전원 관리

"노드 간 오류 복구 및 전원 관리"라는 제목의 Microsoft 특허 출원은 원래 2023년 8월에 제출되었으며 최근 미국 특허청에 게시되었습니다

일반적으로 미국 특허 출원은 검토 후 출원일 또는 우선일로부터 18개월 후에 자동으로 공개되거나, 출원인의 요청에 따라 출원일로부터 18개월 이내에 공개된다는 점에 유의해야 합니다. 응모자. 특허 출원이 공개되었다고 해서 해당 특허가 승인되었음을 의미하는 것은 아닙니다. 특허 출원이 접수된 후 USPTO는 실제 검토를 요구하며, 이는 1~3년 정도 걸릴 수 있습니다.

또한, 이는 특허출원일 뿐, 승인될 것이라는 보장도 없으며, 상용화 및 실질적인 적용 효과를 낼 수 있을지도 단정할 수 없습니다

위 내용은 HoloLens 내부 PCIe 데이터 링크 전송 개선: Microsoft는 AR/VR 특허를 공유합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!