Microsoft AR/VR 특허는 다중 카메라 이미지 정렬을 위한 각도 및 선 기능 사용을 제안합니다.

MR 시스템은 여러 대의 카메라를 사용할 수 있지만 이미지를 렌더링할 때 이미지를 정렬해야 합니다. 그러나 이미지 정렬은 어려운 문제입니다. 이에 Microsoft는 "코너 및 라인 특징을 이용한 이미지 정렬 방법"이라는 특허 출원에서 솔루션을 제안했습니다

물론, 이미지 정렬을 위해 각도 기능을 사용하는 방법은 이미 업계에 존재했습니다. 그러나 이미지의 모서리를 식별하고 식별된 모서리를 기준으로 이미지를 정렬하는 것은 시간이 많이 걸리고 계산 집약적인 작업입니다.

Microsoft가 제안하는 것은 더 나은 기능 일치를 달성할 수 있는 보다 효과적인 개선 기술입니다. 본 발명은 시각적 정렬을 수행하기 위해 모서리 특징과 선 특징을 사용하는 하이브리드 방법을 주로 도입하며, 이 솔루션은 정렬 프로세스에 필요한 제약을 줄여 계산 효율성과 특징 매칭을 향상시킵니다.

그림 11은 사용자가 머리 장착형 카메라(1105)와 외부 카메라(1110)를 사용하고 있는 예시적인 환경(1100)을 보여줍니다. 앞서 언급한 것처럼 두 카메라에서 생성된 이미지 콘텐츠를 정렬해야 합니다. 그러나 환경(1100)은 저조도 환경일 수도 있고 열 구배나 대비 측면에서 대비가 낮은 환경일 수도 있습니다.

예를 들어 밤늦게 물체가 식은 후 환경의 온도 구배는 일반적으로 균일할 수 있습니다. 이 경우, 환경의 온도 프로파일 또는 구배는 특정 등온 임계값(1115)보다 낮을 수 있습니다. 이 경우 콘텐츠 정렬을 위한 기존 기술이 실패할 수 있습니다. Microsoft가 설명하는 실시예는 이러한 시나리오에 대한 솔루션을 제공합니다.

그림 12는 이미지를 정렬하는 데 사용할 수 있는 모서리 감지 1200 프로세스의 예를 보여줍니다. 도 12는 도 11의 머리 장착형 카메라(1105)에 의해 생성된 제1 이미지(1205)와 외부 카메라(1110)에 의해 생성된 제2 이미지(1210)를 도시한다.

모서리 감지 작업을 수행하여 이미지에 있는 "모서리"를 식별합니다. 예를 들어, 실시예는 첫 번째 이미지에서 코너 특징을 식별하는 데 사용될 수 있습니다. 즉, 이미지에서 각도에 해당하는 픽셀 집합을 식별하는 것이 가능합니다

"코너"는 상기 하나 이상의 픽셀에 대해 수평으로 배치된 인근 픽셀의 첫 번째 블록과 상기 하나 이상의 픽셀에 대해 수직으로 배치된 세 번째 픽셀 블록을 갖는 불균일한 강도의 픽셀 또는 픽셀들을 의미합니다. . 근처에 있는 두 개의 픽셀 블록. 즉, 모서리는 픽셀 세트를 기준으로 X 및 Y 방향으로 인접한 모서리와 대비되는 하나 이상의 픽셀 세트로 정의됩니다.

첫 번째 이미지 1205에서 모서리 특징 1215를 식별하고, 두 번째 이미지 1210에서도 모서리 특징을 식별합니다. 따라서 코너 특징(1225)이 성공적으로 식별되었습니다. 각도 특징 1225는 각도 특징 1215

에 해당한다는 점에 유의해야 합니다.

이미지 콘텐츠를 정렬하기 위해 이 실시예에서는 1230개 모서리의 임계값을 식별하는 작업을 수행합니다. 모서리의 임계값 개수는 서로 일치해야 합니다. 즉, 첫 번째 이미지 1205에서 식별된 여러 모서리가 식별되어야 하며 두 번째 이미지 1210에서 식별된 여러 모서리에 대응해야 합니다.

이러한 임계값이 충족되면 실시예는 이미지 정렬 작업을 수행하여 오버레이 이미지(1235)를 생성할 수 있습니다. 오버레이 이미지는 두 번째 이미지(1210)의 콘텐츠가 정렬된 후 첫 번째 이미지(1205)의 해당 콘텐츠와 오버레이되는 이미지입니다.

모서리 감지 및 정렬을 수행하는 것은 계산 집약적인 작업이며, 감지된 모서리와 이미지 간의 일치가 충분하지 않으면 전체 프로세스가 실패할 수 있습니다. 예를 들어, 꼭지점만을 사용하는 방법은 하나의 이미지에서 최소 5개의 꼭지점을 식별한 다음 이를 두 번째 이미지의 해당 꼭지점과 일치시켜야 합니다. 대비가 낮은 조건에서는 해당 모서리 지점 5개를 식별하는 것조차 어려울 수 있습니다

충분한 수의 모서리를 식별한 후 실시예에서는 5개의 모서리를 서로 정렬하기 위해 다양한 회전 및 변환을 수행하여 첫 번째 또는 두 번째 이미지의 이미지 콘텐츠를 다른 이미지에 적용하기 위해 모션 모델을 사용하여 3D 회전을 식별합니다. 영상. 이러한 정렬을 수행하는 것은 계산 집약적입니다.

따라서 각도 방법만 사용할 때 존재하는 제약 조건을 줄여야 하며 그림 13은 그러한 기술을 보여줍니다.

모서리점 및 선점 감지(1300) 프로세스는 그림 13에 나와 있습니다. 이 프로세스에는 그림 12의 모서리점 감지(1200) 작업과 선점 감지 작업의 조합이 포함됩니다. 코너 감지 작업과 라인 감지 작업은 동시에 수행된다는 점에 유의하세요

일반적으로 모서리를 식별하는 것보다 이미지에서 해당 "선"을 식별하는 것이 더 간단하므로 일반적으로 선 감지 프로세스가 모서리 감지 프로세스보다 빠릅니다. 두 프로세스가 병렬로 실행될 수 있고 라인 감지 프로세스가 더 빠르기 때문에 라인 감지 프로세스를 추가해도 전체 정렬 프로세스의 속도에 부정적인 영향을 미치지 않습니다

선을 사용하여 이미지를 정렬하면 정렬 과정에서 더 적은 수의 모서리를 사용할 수 있으므로 제약 조건이 완화되고 일반적으로 정렬이 더 쉬워집니다. 특히 저온 조건에서는 코너를 찾아 일치시키기 어려울 수 있으므로 더 적은 코너가 필요한 것이 매우 유익합니다

"라인"은 수평으로 배치된 하나 이상의 픽셀 세트에 대해 수평으로 배치된 첫 번째 인근 픽셀 블록에 대해 균일한 강도를 갖고 하나 이상의 픽셀 집합에 대해 균일한 강도를 갖는 하나 이상의 픽셀 그룹으로 정의됩니다. 더 많은 픽셀 수직으로 배치된 두 번째 근처 픽셀 블록의 균일하지 않은 강도입니다. 대안적으로, 하나 이상의 픽셀 세트 중 수평으로 위치한 첫 번째 인접 픽셀 블록에 대해서는 균일한 강도를 갖고, 하나 이상의 픽셀 세트에 대해 수직으로 위치한 두 번째 인접 픽셀 블록에 대해서는 균일한 강도를 갖습니다.

그림 13에는 그림 12의 이미지를 나타내는 첫 번째 이미지(1305)와 두 번째 이미지(1310)가 표시되어 있습니다. 그림 13은 또한 첫 번째 이미지 1305

에서 코너 특징 1315를 감지할 수 있는 구현 방법을 보여줍니다.

첫 번째 이미지(1305)에서 모서리 특징을 감지하면 선 특징(1320, 1325)과 같이 선 특징도 동시에 감지됩니다. 일반적으로 감지할 수 있는 모서리 수보다 더 많은 선을 감지할 수 있습니다

두 번째 이미지 1310에서 각도 및 선 작업을 수행합니다. 설명을 위해 실시예에서는 코너 특징부(1330)를 식별합니다. 코너 감지 작업과 병행하여 실시예는 라인 특징(1335) 및 라인 특징(1340)과 같은 제2 이미지(1310)의 라인을 동시에 감지합니다.

모서리 기능 1330은 모서리 기능 1315에 해당하고 선 기능 1335는 선 기능 1320에 해당합니다. 라인 특징(1340)은 라인 특징(1325)에 대응한다. 실시예에서는 이러한 대응 관계를 식별한 다음 이러한 특징점을 서로 정렬하는 데 적합한 모션 모델을 생성하거나 사용할 수 있습니다

발명원리를 바탕으로 첫 번째 임계값을 1345로 정의했습니다. 첫 번째 임계값은 두 이미지를 정렬하기 위해 식별해야 하는 해당 각도 특징의 수를 나타냅니다. 동시에 두 번째 임계값인 1350도 정의합니다. 두 번째 임계값은 두 이미지를 정렬하기 위해 두 이미지에서 식별해야 하는 해당 행 특징의 수를 나타냅니다.

제1 임계값(1345)과 제2 임계값(1350)이 만족되면 실시예는 오버레이 이미지(1355)를 생성하기 위해 제1 이미지(1305)와 제2 이미지(1310)의 콘텐츠를 정렬할 수 있습니다. 임계값은 일반적으로 인식되어야 하는 모서리와 선의 총 개수를 나타냅니다.

라인 특징 감지 수행의 편리성과 속도를 이해한 후에 실시예가 왜 라인 감지 작업에만 의존하고 코너 감지 작업을 수행하지 않는지 의문이 생길 수 있습니다. 그 이유는 이미지에서 라인을 감지하면 조리개 문제가 발생하기 때문입니다.

다음은 다시 작성한 내용입니다. 그림 14에 따르면 조리개 문제, 즉 조리개 모호성이 1400임을 알 수 있습니다. 도 14에서, 선분(1405)은 전체 선의 일부이다. 조리개 모호성(1400)은 선의 여러 다른 부분이 식별된 선분(1405)과 관련될 수 있다는 사실을 나타냅니다(그러나 부정확함).

예를 들어, 선분 1410은 실제로 잘못된 위치에 있더라도 선분 1405와 일치하는 픽셀 블록일 수 있습니다. 마찬가지로, 선분(1415) 또는 선분(1420)은 선분(1405)의 픽셀을 매핑하거나 일치시킬 수 있는 픽셀 블록을 포함할 수 있습니다. 이러한 시나리오에서는 정렬 프로세스에 모호함이 발생합니다.

따라서 라인 감지 프로세스 자체에만 의존하는 것만으로는 기술이 충분하지 않습니다. 즉, 선과 각도의 조합에 의존하면 실시예가 완화된 제약 조건을 사용할 수 있으므로 계산 효율성이 향상됩니다.

샘플 프로세스 흐름 1500은 그림 15에 나와 있습니다. 먼저, 머리 장착형 카메라 영상(1505), 외부 카메라 영상(1510) 등의 영상 세트가 획득된다. 이러한 이미지는 열화상일 수 있습니다. 이미지의 온도 구배 또는 대비(1520)는 특정 대비 임계값(1525)보다 낮을 수 있습니다. 따라서 이미지에서 충분한 수의 모서리를 식별하는 것은 매우 어려울 수 있습니다. 이 경우 하이브리드 접근 방식을 활용하여 모서리와 선의 조합을 감지하여 정렬을 달성할 수 있습니다

머리 장착형 카메라 영상(1505)과 외부 카메라 영상(1510)을 각도 검출기(1530)와 라인 검출기(1535)로 전송합니다. 이 두 검출기는 동시에 실행되며 서로 종속되지 않습니다

선 감지기 1535는 일반적으로 각도 감지에서 모서리 감지기 1530보다 선 감지 속도가 더 빠릅니다. 즉, 라인 검출기(1535)의 지연 시간은 코너 검출기(1530)의 지연 시간보다 짧습니다

코너 감지기(1530)는 두 이미지를 분석하고 이미지의 코너 지점(1545)을 식별합니다. 마찬가지로, 라인 검출기(1535)는 두 이미지를 분석하고 이미지에서 라인(1550)을 식별합니다. 그런 다음 실시예는 2개의 이미지 내에서 대응하는 모서리와 라인을 식별함으로써 정렬(1555)을 수행합니다.

정렬을 수행하려면 선과 모서리의 임계값 개수를 결정해야 합니다. 일치 임계값은 모서리 또는 선 수를 식별하는 임계값보다 더 관련성이 높습니다. 그런 다음 실시예는 식별된 모서리와 선을 모션 모델과 같은 3D 모델(1560)에 맞춥니다. 그 후 모델 피팅(1565) 작업이 모델(1560)에 대해 수행되어 하나의 이미지를 회전, 이동 및/또는 변환하여 다른 이미지의 해당 모서리 및 선과 일치하거나 정렬합니다.

즉, 재투영 작업을 수행할 때 이 실시예에서는 식별된 모서리와 선을 사용하여 한 이미지의 콘텐츠를 다른 이미지의 콘텐츠와 정렬합니다.

관련 특허: Microsoft 특허 | 모서리 및 선 기능을 사용한 이미지 정렬

"모퉁이 및 선 기능을 사용한 이미지 정렬"이라는 제목의 Microsoft 특허 출원은 원래 2022년 2월에 제출되었으며 최근 미국 특허청에 게시되었습니다.

위 내용은 Microsoft AR/VR 특허는 다중 카메라 이미지 정렬을 위한 각도 및 선 기능 사용을 제안합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!