찾다
기술 주변기기일체 포함속도는 24배 증가하고, 대규모 실내 장면의 역렌더링은 30분 만에 완료할 수 있다. Rushi의 연구 결과는 CVPR 2023에 선정됐다.

역렌더링 기술에 대한 연구 결과는 2년 연속 최고 컴퓨터 비전 컨퍼런스 CVPR에 선정되었으며, 단일 이미지 처리부터 실내 장면 전체를 커버하는 것까지 루시의 3차원 재구성 분야 시각 알고리즘 기술 기반은 생생하게 보여주었습니다.

3차원 재구성은 컴퓨터 비전(CV) 및 컴퓨터 그래픽(CG) 분야에서 뜨거운 주제 중 하나입니다. CV 기술을 사용하여 카메라 등의 센서로 포착한 실제 사물과 장면의 2차원 이미지를 처리하여 3차원 입체를 얻습니다. -차원 모델. 관련 기술이 계속 발전함에 따라 스마트 홈, AR 관광, 자율주행 및 고정밀 지도, 로봇, 도시 계획, 문화재 재구성, 영화 엔터테인먼트 등 다양한 분야에서 3D 재구성이 점점 더 많이 사용되고 있습니다.

속도는 24배 증가하고, 대규모 실내 장면의 역렌더링은 30분 만에 완료할 수 있다. Rushi의 연구 결과는 CVPR 2023에 선정됐다.

2D 이미지를 기반으로 한 일반적인 3D 얼굴 재구성. 이미지 출처: 10.1049/iet-cvi.2013.0220

전통적인 3차원 재구성은 크게 광도법과 기하학적 방법으로 나눌 수 있으며, 전자는 픽셀의 밝기 변화를 분석하고 후자는 시차를 사용하여 재구성을 완료합니다. 최근에는 머신러닝, 특히 딥러닝 기술이 활용되기 시작하여 특징 탐지, 깊이 추정 등에서 좋은 결과를 얻고 있습니다. 현재 일부 방법에서는 공간 기하학적 모델과 텍스처 맵을 사용하지만 장면의 모양은 실제 세계와 거의 동일하게 보입니다.

그러나 이러한 방법에는 여전히 몇 가지 제한 사항이 있습니다. 장면의 모양 특성만 복원할 수 있으며 장면의 조명, 반사도 및 거칠기와 같은 심층적인 속성을 디지털화할 수 없으며 이러한 심층적인 속성을 쿼리하고 편집할 수 없습니다. 정보. 일어났습니다. 또한 렌더링 엔진에서 사용할 수 있는 PBR 렌더링 자산으로 변환할 수 없으므로 사실적인 렌더링 효과를 생성할 수 없습니다. 이러한 문제를 해결하는 방법은 무엇입니까? 역 렌더링 기술은 점차 사람들의 시야에 들어왔습니다.

역 렌더링 작업은 1978년 구세대 컴퓨터 과학자인 Barrow와 Tenenbaum에 의해 처음 제안되었습니다. 3차원 재구성을 기반으로 조명, 반사도, 거칠기 및 금속성과 같은 장면의 본질적인 속성을 더욱 복원하여 달성합니다. 좀 더 사실적인 렌더링이 가능합니다. 그러나 이미지에서 이러한 속성을 분해하는 것은 매우 불안정하며 서로 다른 속성 구성으로 인해 유사한 모양이 나타나는 경우가 많습니다. 미분 가능 렌더링 및 암시적 신경 표현의 발전으로 일부 방법은 명시적 또는 암시적 사전 변수가 있는 작은 객체 중심 장면에서 좋은 결과를 얻었습니다.

그러나 대규모 실내 장면의 역렌더링은 실제 장면에서 물리적으로 합리적인 자료를 복원하는 것이 어려울 뿐만 아니라 장면 내에서 다중 관점의 일관성을 보장하는 것도 잘 해결되지 않았습니다. 중국에는 핵심 알고리즘의 독립적인 연구 개발에 깊이 관여하고 3D 재구성 분야의 대규모 산업 응용에 중점을 두는 기술 회사가 있습니다. Realsee는 대규모 역 렌더링이라는 어려운 주제를 개척했습니다. 실내 장면을 확장하세요. 효율적인 멀티뷰 역 렌더링 프레임워크. 이 논문은 CVPR 2023 컨퍼런스에 채택되었습니다.

속도는 24배 증가하고, 대규모 실내 장면의 역렌더링은 30분 만에 완료할 수 있다. Rushi의 연구 결과는 CVPR 2023에 선정됐다.


  • 프로젝트 주소: http://yodlee.top/TexIR/
  • 논문 주소: https://arxiv.org/pdf/2211.10206.pdf

구체적으로 Rushixin은 정확한 공간 기반 이 방법은 조명, 반사도, 거칠기 등과 같은 장면의 본질적인 속성을 역으로 추측하고 3차원 재구성을 기반으로 실제 장면에 가까운 조명 및 재료 성능을 복원하여 재구성을 향상시킬 수 있습니다. 효과, 비용 효율성, 적용 범위 등 차원이 전반적으로 개선되었습니다.

이 글에서는 Rushi의 대규모 실내 장면을 위한 멀티뷰 역렌더링 기술을 자세히 이해하고, 그 장점에 대한 심도 있는 분석을 제공하겠습니다.

대규모 실내 장면의 경우

Rushi의 새로운 역렌더링 기술은 "정확하고 세밀하며 빠른"을 달성합니다.

아래 그림 2는 Rushi의 새로운 역렌더링 방법의 전체 프로세스를 보여줍니다. 대규모 실내 장면의 보정된 HDR 이미지 세트가 주어지면 이 방법은 전역적으로 일관된 조명 및 SVBRDF(양방향 반사 분포 함수)를 정확하게 복구하여 이미지 파이프라인 및 다운스트림 애플리케이션에 쉽게 통합하는 것을 목표로 합니다.

이러한 목표를 달성하기 위해 Rushi는 먼저 3D 메쉬와 HDR 텍스처로 구성되어 전체 실내 대형 장면의 모든 위치를 효율적으로 모델링하는 TBL(Texture-based Lighting)이라는 컴팩트한 조명 표현을 제안했습니다. 직접 조명과 무한 바운스 간접 조명을 위한 조명입니다. Rushi는 TBL을 기반으로 미리 계산된 방사조도를 사용한 혼합 조명 표현을 제안하여 재료 최적화에서 효율성을 크게 향상시키고 렌더링 노이즈를 줄였습니다. 마지막으로 Rushi는 복잡한 대규모 실내 장면에서 재료의 물리적 모호성을 잘 처리할 수 있는 세그먼트 기반의 3단계 재료 최적화 전략을 도입했습니다.

속도는 24배 증가하고, 대규모 실내 장면의 역렌더링은 30분 만에 완료할 수 있다. Rushi의 연구 결과는 CVPR 2023에 선정됐다.

텍스처 기반 조명(TBL)

대규모 실내 장면의 조명을 표현할 때 TBL의 장점은 신경 표현의 컴팩트함, IBL 전역 조명 및 파라메트릭 조명의 해석 가능성 및 공간적 일관성에서 나타납니다. . TBL은 전체 장면의 전역 표현으로, 모든 표면 지점에서 방출되는 방사조도를 정의합니다. 표면 지점에서 방출된 방사조도는 일반적으로 HDR 텍스처의 값, 즉 입력 HDR 이미지의 해당 픽셀에서 관찰된 HDR 방사조도와 같습니다.

Rushi는 자체 개발한 고품질 3D 재구성 기술을 사용하여 전체 대형 장면의 메쉬 모델을 재구성합니다. 마지막으로 입력 HDR 이미지를 기반으로 HDR 텍스처가 재구성되고 HDR 텍스처를 통해 모든 위치와 방향에서 전역 조명이 쿼리됩니다. 아래 그림 3(왼쪽)은 TBL의 시각화를 보여줍니다.

속도는 24배 증가하고, 대규모 실내 장면의 역렌더링은 30분 만에 완료할 수 있다. Rushi의 연구 결과는 CVPR 2023에 선정됐다.

혼합 조명 표현

실제로 TBL을 직접 사용하여 재료를 최적화하는 데에는 몬테카를로 샘플 수가 많으면 컴퓨팅 및 메모리 비용이 높아진다는 단점이 있습니다. 대부분의 노이즈는 확산 구성요소에 존재하므로 확산 구성요소에 대한 표면 점의 방사조도가 미리 계산됩니다. 따라서 그림 3(오른쪽)에 표시된 것처럼 비용이 많이 드는 온라인 계산을 대체하여 방사조도를 효율적으로 쿼리할 수 있습니다. TBL 기반 렌더링 수식은 수학식 1에서 수학식 2로 다시 작성된다.

속도는 24배 증가하고, 대규모 실내 장면의 역렌더링은 30분 만에 완료할 수 있다. Rushi의 연구 결과는 CVPR 2023에 선정됐다.

Rushi는 미리 계산된 방사조도를 모델링하기 위해 두 가지 표현을 제안합니다. 하나는 신경 복사장(NIrF)으로, 표면 점을 입력으로 사용하고 복사 조도 p를 출력하는 얕은 다층 퍼셉트론(MLP)입니다. 다른 하나는 IrT(Irradiance Texture)로, 컴퓨터 그래픽에서 일반적으로 사용되는 라이트맵과 유사합니다.

보시다시피, 이 하이브리드 조명 표현에는 확산 구성 요소에 대한 미리 계산된 방사 조도와 반사 구성 요소에 대한 소스 TBL이 포함되어 있어 렌더링 노이즈를 크게 줄이고 재료의 효율적인 최적화를 달성합니다. 식(2)의 확산 성분은 식(3)과 같이 모델링됩니다.

속도는 24배 증가하고, 대규모 실내 장면의 역렌더링은 30분 만에 완료할 수 있다. Rushi의 연구 결과는 CVPR 2023에 선정됐다.

분할 기반의 3단계 재료 추정

신경 재료의 경우 매우 복잡한 재료로 대규모 장면을 모델링하기 어렵고 기존 그래픽 엔진에는 적합하지 않습니다. 형상을 직접적으로 최적화하는 명시적 재질 텍스처를 선택하는 대신 SV 알베도 및 SV 거칠기를 매개변수로 사용하여 Disney BRDF 모델의 단순화된 버전을 사용했습니다. 그러나 관찰의 희소성으로 인해 명시적인 재질 질감을 직접 최적화하면 일관성이 없고 수렴되지 않는 거칠기가 발생합니다.

이와 관련하여 Rushi는 이 문제를 해결하기 위해 의미론적 및 공간 분할 사전을 활용합니다. 여기서 의미론적 이미지는 학습 기반 모델로 예측되고 공간 분할은 점유 그리드로 계산됩니다. 구현 과정에서 Rushi는 3단계 전략을 채택했습니다.

첫 번째 단계에서는 작은 물체 중심의 장면처럼 알베도를 상수로 초기화하는 대신 Lambertian 가정을 기반으로 희소 알베도를 최적화합니다. 확산 알베도는 공식 (3)으로 직접 계산할 수 있지만 하이라이트 영역에서 알베도를 너무 밝게 만들어 다음 단계에서 과도한 거칠기를 초래하게 됩니다. 따라서 아래 식 (4)와 같이 동일한 의미론적 분할에서 유사한 알베도를 자극하기 위해 의미론적 평활화 제약 조건을 사용합니다. 희소 알베도는 방정식 (5)에 의해 최적화됩니다.

속도는 24배 증가하고, 대규모 실내 장면의 역렌더링은 30분 만에 완료할 수 있다. Rushi의 연구 결과는 CVPR 2023에 선정됐다.

2단계 VHL(가상 하이라이트) 기반 샘플링 및 의미 기반 전파. 다중 뷰 이미지에서는 특히 대규모 장면에서 전체적으로 일관되지 않은 거칠기로 이어지는 희박한 반사 단서만 관찰될 수 있습니다. 그러나 사전 의미 분할을 통해 하이라이트 영역의 합리적인 거칠기가 동일한 의미를 갖는 영역으로 전파될 수 있습니다.

Rushi는 먼저 각 의미 클래스에 대한 VHL 영역을 찾기 위해 거칠기 0.01의 입력 포즈를 기반으로 이미지를 렌더링한 다음 고정된 희소 알베도 및 조명을 기반으로 이러한 VHL의 거칠기를 최적화합니다. 합리적인 거칠기는 방정식 (6)을 통해 동일한 의미 분할로 전파될 수 있으며, 이 거칠기는 방정식 (7)을 통해 최적화될 수 있습니다.

속도는 24배 증가하고, 대규모 실내 장면의 역렌더링은 30분 만에 완료할 수 있다. Rushi의 연구 결과는 CVPR 2023에 선정됐다.

분할 기반 미세 조정의 세 번째 단계. RuShi는 의미론적 분할 및 공간 분할 사전을 기반으로 모든 재료 텍스처를 미세 조정합니다. 특히 Rushi는 방정식 (4)와 유사한 평활화 제약 조건과 거칠기에 대한 공간 평활화 제약 조건을 사용하여 서로 다른 방의 거칠기를 더 부드럽고 매끄럽게 만듭니다. 룸 스무딩 제약 조건은 식 (8)로 정의되며, 알베도에 대한 스무딩 제약 조건을 사용하지 않으면 총 손실은 식 (9)로 정의됩니다.

속도는 24배 증가하고, 대규모 실내 장면의 역렌더링은 30분 만에 완료할 수 있다. Rushi의 연구 결과는 CVPR 2023에 선정됐다.

실험 설정 및 효과 비교

dataset에 대해 Rushi는 합성 데이터 세트와 실제 데이터 세트라는 두 가지 데이터 세트를 사용했습니다. 전자의 경우 Rushi는 경로 추적기를 사용하여 다양한 재료와 조명으로 합성 장면을 만들고 최적화를 위해 24개의 뷰를 렌더링했으며 14개의 새로운 뷰를 렌더링하여 각 뷰에 대한 Ground Truth 재료 이미지를 렌더링했습니다. 후자의 경우 Scannet, Matterport3D 및 Replica와 같이 일반적으로 사용되는 대규모 장면의 실제 데이터 세트에 풀 HDR 이미지가 부족하기 때문에 Rushi는 10개의 풀 HDR 실제 데이터 세트를 수집하고 7개의 브래킷 노출을 병합하여 10~20개를 캡처했습니다. 풀 HDR 파노라마 이미지.

기준 방법 정보. 대규모 장면의 다시점 이미지에서 SVBRDF를 복구하기 위해 현재 역 렌더링 방법에는 단일 이미지 학습 기반의 SOTA 방식 PhyIR, 다시점 객체 중심 SOTA 신경 렌더링 방법 InvRender, NVDIFFREC 및 NeILF가 포함됩니다. 평가 지표와 관련하여 우리는 PSNR, SSIM 및 MSE를 사용하여 정량적 비교를 위해 재료 예측 및 다시 렌더링된 이미지를 평가하고, MAE 및 SSIM을 사용하여 다양한 조명 표현으로 렌더링된 재조명 이미지를 평가합니다.

먼저 아래 표 1과 그림 4에 표시된 것처럼 합성 데이터 세트에 대한 평가를 살펴보면, as-view 방법은 거칠기 추정에서 SOTA 방법보다 훨씬 뛰어난 성능을 발휘하며 거칠기는 물리적으로 합리적인 정반사율을 생성할 수 있습니다. 또한 원래의 암시적 표현과 비교하여 시각적 하이브리드 조명 표현을 갖춘 NeILF는 재료와 조명 간의 모호성을 줄입니다.

속도는 24배 증가하고, 대규모 실내 장면의 역렌더링은 30분 만에 완료할 수 있다. Rushi의 연구 결과는 CVPR 2023에 선정됐다.

그런 다음 복잡한 재료와 조명이 포함된 까다로운 실제 데이터 세트에 대해 평가했습니다. 아래 표 2의 정량적 비교 결과는 RuShi 방법이 이전 방법보다 우수하다는 것을 보여줍니다. 이러한 방법에는 대략적인 재렌더링 오류가 있지만 시각적 방법만이 전역적으로 일관되고 물리적으로 건전한 자료를 분리합니다.

속도는 24배 증가하고, 대규모 실내 장면의 역렌더링은 30분 만에 완료할 수 있다. Rushi의 연구 결과는 CVPR 2023에 선정됐다.

아래 그림 5와 그림 6은 각각 3D 보기와 2D 이미지 보기의 질적 비교를 보여줍니다. PhyIR은 도메인 간격이 커서 일반화 성능이 좋지 않으며 전역 일관성 예측을 달성할 수 없습니다. InvRender, NVDIFFREC 및 NeILF는 올바른 자료를 분리하기 어렵게 만드는 아티팩트로 모호한 예측을 생성했습니다. NVDIFFREC은 RuSight 방법과 유사한 성능을 얻을 수 있지만 반사 성분의 하이라이트가 확산 알베도로 잘못 복원되는 등 알베도와 거칠기 사이의 모호성을 분리할 수 없습니다.

속도는 24배 증가하고, 대규모 실내 장면의 역렌더링은 30분 만에 완료할 수 있다. Rushi의 연구 결과는 CVPR 2023에 선정됐다.

Ablation 실험

TBL, 혼합 조명 표현, 첫 번째 단계의 알베도 초기화, 두 번째 단계의 거칠기 추정과 같은 조명 표현 및 재료 최적화 전략의 효율성을 입증하기 위해 VHL 샘플링 및 절제 실험을 위해 의미 전파 및 세그멘테이션 기반 미세 조정의 세 번째 단계가 수행되었습니다.

먼저

TBL을 이전 방법에서 널리 사용되는 SH 조명 및 SG 조명 방법과 비교하면 그림 7과 같이 TBL은 저주파 및 고주파 모두에서 높은 충실도를 보여줍니다. 주파수 특징.

속도는 24배 증가하고, 대규모 실내 장면의 역렌더링은 30분 만에 완료할 수 있다. Rushi의 연구 결과는 CVPR 2023에 선정됐다.

두 번째로 혼합 조명 표현의 효율성을 검증하고,

혼합 조명 표현을 원본 TBL과 비교하여 결과를 아래 그림 8에 표시합니다. 혼합된 조명 표현이 없으면 알베도는 소음을 발생시키고 느리게 수렴될 수 있습니다. 미리 계산된 방사 조도를 도입하면 고해상도 입력을 사용하여 미세한 재료를 복구하고 최적화 프로세스 속도를 크게 높일 수 있습니다. 동시에 IrT는 NIrF에 비해 더 미세하고 인공물이 없는 알베도를 생성합니다.

속도는 24배 증가하고, 대규모 실내 장면의 역렌더링은 30분 만에 완료할 수 있다. Rushi의 연구 결과는 CVPR 2023에 선정됐다.

드디어

3단계 전략의 유효성이 검증되었으며, 그 결과는 아래 표 3과 그림 9에 나와 있습니다. 기준선 거칠기가 수렴하지 못하고 하이라이트 영역만 업데이트됩니다. 첫 번째 단계에서 알베도 초기화를 수행하지 않으면 하이라이트 영역이 너무 밝아져 거칠기가 잘못됩니다. VHL 기반 샘플링 및 의미 기반 전파의 두 번째 단계는 반사 하이라이트가 관찰되지 않는 영역에서 합리적인 거칠기를 복구하는 데 중요합니다. 분할 기반 미세 조정의 세 번째 단계에서는 미세한 알베도를 생성하여 최종 거칠기를 더 매끄럽게 만들고 서로 다른 재료 간의 거칠기 오류 전파를 방지합니다.

속도는 24배 증가하고, 대규모 실내 장면의 역렌더링은 30분 만에 완료할 수 있다. Rushi의 연구 결과는 CVPR 2023에 선정됐다.

루시의 새로운 역렌더링 기술, 장점은 무엇인가요?

실제로 Rushi는 CVPR 2022 논문 "PhyIR: Physics-based Inverse Rendering for Panoramic Indoor Images"에서 신경망 훈련 방법을 제안하여 단일 이미지의 역 렌더링 작업에서 SOTA 결과를 달성했습니다. 이제 새로운 역 렌더링 프레임워크는 집 전체, 공간 및 장면 등 다양한 관점을 달성할 뿐만 아니라 이전 역 렌더링 방법의 많은 주요 결함을 해결합니다.

우선합성 데이터 훈련을 기반으로 한 이전 방법은 실제 시나리오에서 잘 수행되지 않았습니다. Rushi의 새로운 깊이 역 렌더링 프레임워크는 다단계 재료 최적화를 통해 Rushi 디지털 공간의 세계 최대 3차원 공간 데이터베이스 생활 공간 데이터와 결합하여 "계층적 장면 사전"을 처음으로 도입합니다. 거칠기와 같은 물리적 특성을 분석하여 계층적이고 정확한 예측이 가능합니다.

예측 결과최종 출력은 RuShi 장치에서 실제로 캡처한 실내 장면 데이터를 디지털 렌더링 자산으로 원활하게 변환하여 다음과 같은 현재의 모든 주류 렌더링 엔진에 적응하는 물리적으로 합리적이고 전 세계적으로 일관된 다중 유형 재료 맵입니다. Unity 및 Blender를 사용하면 재료 편집, 새로운 뷰 합성, 재조명, 가상 객체 삽입 등과 같은 장면 자산 및 물리 기반 MR 애플리케이션의 자동 생성이 가능합니다. 이 다재다능한 디지털 자산은 향후 더욱 다양한 애플리케이션과 제품을 지원하는 데 도움이 됩니다.

속도는 24배 증가하고, 대규모 실내 장면의 역렌더링은 30분 만에 완료할 수 있다. Rushi의 연구 결과는 CVPR 2023에 선정됐다.

재료 편집

속도는 24배 증가하고, 대규모 실내 장면의 역렌더링은 30분 만에 완료할 수 있다. Rushi의 연구 결과는 CVPR 2023에 선정됐다.

Relighting

두 번째로최적화를 기반으로 한 이전의 미분 가능 렌더링 방법은 계산 비용이 매우 많이 들고 비효율적입니다. 최근에는 역 렌더링 문제를 더 잘 해결하고 훈련 데이터에 대한 의존도를 줄이기 위해 미분 가능한 렌더링 방법이 제안되었습니다. 그래디언트를 렌더링 매개변수에 전파하고 최종적으로 최적화를 통해 물리 기반으로 해결해야 할 매개변수를 얻습니다. 이러한 방법에는 구형 조화(SH) 조명[1]과 3차원 구형 가우스(VSG) 조명이 포함됩니다.

그러나 대규모 실내 장면에는 폐색 및 그림자와 같은 복잡한 광학 효과가 많이 있습니다. 미분 렌더링으로 전역 조명을 모델링하면 계산 비용이 높아집니다. 예를 들어, 이번에 제안한 TBL은 실내 장면의 전역 조명을 효율적이고 정확하게 표현할 수 있으며 약 20MB의 메모리만 필요하지만, Dense Grid 기반 VSG 조명[2]은 약 1GB의 메모리가 필요하고 Sparse Grid 기반 SH 조명 방식 플레녹셀 [3] 약 750MB의 메모리가 필요하며, 데이터 메모리 용량은 수십 배나 줄어들었습니다.

그뿐만 아니라 Rushi의 새로운 방법은

30분 안에 전체 실내 장면의 역 렌더링을 완료할 수 있는 반면, 기존 방법 [4]은 약 12시간이 소요될 수 있으며 이는 전체 24배 개선된 것입니다. 컴퓨팅 속도가 크게 향상되면 비용이 절감되고 비용 대비 성능이 크게 향상되어 대규모 실제 응용 프로그램에 한 발 더 다가갈 수 있습니다.

마지막으로 기존 NeRF와 유사한 신경 역 렌더링 방법(예: PS-NeRF [5], NeRFactor [6] 등)은 주로 객체 중심의 소규모 장면을 지향하며 대규모 모델링은 불가능해 보입니다. 실내 장면의 규모를 조정하세요. Rushi의 정확한 디지털 공간 모델과 효율적이고 정확한 혼합 조명 표현을 기반으로 하는 새로운 역 렌더링 프레임워크는 의미론적 분할 및 공간 분할 사전을 도입하여 이 문제를 해결합니다.

이 새로운 깊이 역 렌더링 프레임워크에 대해 Rushi 수석 과학자 Pan Cihui는 "실제 세계의 더 깊은 디지털화를 달성하고 이전 역 렌더링 방법이 실제 장면에서 물리적으로 합리적인 재료와 질감을 복원하는 데 어려움을 겪었던 문제를 해결합니다."라고 말했습니다. 조명 및 다시점 일관성 문제로 인해 3D 재구성 및 MR 적용에 더 큰 상상력이 생겼습니다. "

역 렌더링 기술의 장점 파악

디지털 공간에서 VR + 산업 통합을 혁신

항상 Vision과 같은 3D 재구성 분야에서 많은 기술을 축적해 왔으며, 관련 알고리즘을 다듬고 구현하는 데 많은 에너지를 투자했습니다. 동시에 최첨단 기술의 연구 개발에 큰 지원을 제공하고 업계 최고의 기술을 확보하는 데 큰 중요성을 부여합니다. 이는 새로운 역 렌더링 기술을 포함한 RuShi의 3D 실생활 모델 재구성 및 MR 연구의 중요한 기반이 되어 국제 학계로부터 인정을 받았으며 RuShi의 알고리즘 역량이 이론 연구 및 기술 분야에서 세계 최고의 수준에 도달하는 데 도움이 되었습니다. 응용 프로그램.

이러한 알고리즘과 기술적 장점은 현실 세계의 디지털화를 더욱 심화시키고 디지털 공간 구축을 더욱 가속화할 것입니다. 현재 Rushi Digital Space는 자체 개발한 수집 장비를 통해 다양한 국가와 다양한 응용 시나리오에서 2,700만 세트 이상의 컬렉션을 축적했으며 면적은 22억 7,400만 평방미터에 달합니다. Rushi Digital Space는 또한 VR + 산업 통합 개발 방향을 지원하여 상업 소매, 산업 시설, 문화 전시, 공공 업무, 가정 장식, 부동산 거래 및 VR 하우스 뷰잉과 같은 기타 산업에 디지털 애플리케이션 업그레이드를 위한 새로운 개발 기회를 제공할 것입니다. , VR 박물관 등.

속도는 24배 증가하고, 대규모 실내 장면의 역렌더링은 30분 만에 완료할 수 있다. Rushi의 연구 결과는 CVPR 2023에 선정됐다.

Rushi가 만든 AI 마케팅 어시스턴트

VR + 산업 통합을 위해 Rushi의 가장 큰 장점은 지속적으로 진화하는 디지털 재구성 알고리즘과 방대한 실제 데이터의 축적에 있습니다. 장벽과 대규모 데이터 장벽. 이러한 알고리즘과 데이터도 어느 정도 서로 순환하면서 그 장점을 지속적으로 확장할 수 있습니다. 동시에 데이터와 알고리즘의 장벽으로 인해 Rushi는 다양한 산업의 문제점을 해결하고 기술 솔루션을 도입하며 산업 발전의 새로운 모델을 혁신하는 것을 더 쉽게 만들었습니다.

역 렌더링 기술의 성과는 2년 연속 CVPR에 선정되었습니다. 이는 주로 Rushi가 MR 방향에 변화를 만들고 업계에서 일부 구현을 달성하기를 원하기 때문입니다. 앞으로 Rushi는 실제 VR과 순수 가상 시뮬레이션 사이의 격차를 열고 가상과 실제의 진정한 통합을 달성하며 더 많은 산업 애플리케이션을 구축하기를 희망합니다.

위 내용은 속도는 24배 증가하고, 대규모 실내 장면의 역렌더링은 30분 만에 완료할 수 있다. Rushi의 연구 결과는 CVPR 2023에 선정됐다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

성명
이 기사는 51cto에서 복제됩니다. 침해가 있는 경우 admin@php.cn으로 문의하시기 바랍니다. 삭제
如何在 Windows 11 中清除桌面背景最近的图像历史记录如何在 Windows 11 中清除桌面背景最近的图像历史记录Apr 14, 2023 pm 01:37 PM

<p>Windows 11 改进了系统中的个性化功能,这使用户可以查看之前所做的桌面背景更改的近期历史记录。当您进入windows系统设置应用程序中的个性化部分时,您可以看到各种选项,更改背景壁纸也是其中之一。但是现在可以看到您系统上设置的背景壁纸的最新历史。如果您不喜欢看到此内容并想清除或删除此最近的历史记录,请继续阅读这篇文章,它将帮助您详细了解如何使用注册表编辑器进行操作。</p><h2>如何使用注册表编辑

如何在电脑上下载 Windows 聚光灯壁纸图像如何在电脑上下载 Windows 聚光灯壁纸图像Aug 23, 2023 pm 02:06 PM

窗户从来不是一个忽视美学的人。从XP的田园绿场到Windows11的蓝色漩涡设计,默认桌面壁纸多年来一直是用户愉悦的源泉。借助WindowsSpotlight,您现在每天都可以直接访问锁屏和桌面壁纸的美丽、令人敬畏的图像。不幸的是,这些图像并没有闲逛。如果您爱上了Windows聚光灯图像之一,那么您将想知道如何下载它们,以便将它们作为背景保留一段时间。以下是您需要了解的所有信息。什么是WindowsSpotlight?窗口聚光灯是一个自动壁纸更新程序,可以从“设置”应用中的“个性化&gt

如何在Python中使用图像语义分割技术?如何在Python中使用图像语义分割技术?Jun 06, 2023 am 08:03 AM

随着人工智能技术的不断发展,图像语义分割技术已经成为图像分析领域的热门研究方向。在图像语义分割中,我们将一张图像中的不同区域进行分割,并对每个区域进行分类,从而达到对这张图像的全面理解。Python是一种著名的编程语言,其强大的数据分析和数据可视化能力使其成为了人工智能技术研究领域的首选。本文将介绍如何在Python中使用图像语义分割技术。一、前置知识在深入

如何在Windows上使用PowerToys批量调整图像大小如何在Windows上使用PowerToys批量调整图像大小Aug 23, 2023 pm 07:49 PM

那些必须每天处理图像文件的人经常不得不调整它们的大小以适应他们的项目和工作的需求。但是,如果要处理的图像太多,则单独调整它们的大小会消耗大量时间和精力。在这种情况下,像PowerToys这样的工具可以派上用场,除其他外,可以使用其图像调整大小器实用程序批量调整图像文件的大小。以下是设置图像调整器设置并开始使用PowerToys批量调整图像大小的方法。如何使用PowerToys批量调整图像大小PowerToys是一个多合一的程序,具有各种实用程序和功能,可帮助您加快日常任务。它的实用程序之一是图像

2D图像脑补3D人体,衣服随便搭,还能改动作2D图像脑补3D人体,衣服随便搭,还能改动作Apr 11, 2023 pm 02:31 PM

得益于 NeRF 提供的可微渲染,近期的三维生成模型已经在静止物体上达到了很惊艳的效果。但是在人体这种更加复杂且可形变的类别上,三维生成依旧有很大的挑战。本文提出了一个高效的组合的人体 NeRF 表达,实现了高分辨率(512x256)的三维人体生成,并且没有使用超分模型。EVA3D 在四个大型人体数据集上均大幅超越了已有方案,代码已开源。论文名称:EVA3D: Compositional 3D Human Generation from 2D image Collections论文地址:http

无需下游训练,Tip-Adapter大幅提升CLIP图像分类准确率无需下游训练,Tip-Adapter大幅提升CLIP图像分类准确率Apr 12, 2023 pm 03:25 PM

论文链接:https://arxiv.org/pdf/2207.09519.pdf代码链接:https://github.com/gaopengcuhk/Tip-Adapter一.研究背景对比性图像语言预训练模型(CLIP)在近期展现出了强大的视觉领域迁移能力,可以在一个全新的下游数据集上进行 zero-shot 图像识别。为了进一步提升 CLIP 的迁移性能,现有方法使用了 few-shot 的设置,例如 CoOp 和 CLIP-Adapter,即提供了少量下游数据集的训练数据,使得 CLIP

新视角图像生成:讨论基于NeRF的泛化方法新视角图像生成:讨论基于NeRF的泛化方法Apr 09, 2023 pm 05:31 PM

新视角图像生成(NVS)是计算机视觉的一个应用领域,在1998年SuperBowl的比赛,CMU的RI曾展示过给定多摄像头立体视觉(MVS)的NVS,当时这个技术曾转让给美国一家体育电视台,但最终没有商业化;英国BBC广播公司为此做过研发投入,但是没有真正产品化。在基于图像渲染(IBR)领域,NVS应用有一个分支,即基于深度图像的渲染(DBIR)。另外,在2010年曾很火的3D TV,也是需要从单目视频中得到双目立体,但是由于技术的不成熟,最终没有流行起来。当时基于机器学习的方法已经开始研究,比

如何使用Python对图片进行图像去噪处理如何使用Python对图片进行图像去噪处理Aug 18, 2023 am 09:48 AM

如何使用Python对图片进行图像去噪处理图像去噪是图像处理中的一项重要任务,它的目的是去除图像中的噪声,提高图像的质量和清晰度。Python是一种功能强大的编程语言,拥有丰富的图像处理库,如PIL、OpenCV等,可以帮助我们实现图像去噪的功能。本文将介绍如何使用Python对图片进行图像去噪处理,并给出相应的代码示例。导入所需的库首先,我们需要导入所需的

See all articles

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

AI Hentai Generator

AI Hentai Generator

AI Hentai를 무료로 생성하십시오.

뜨거운 도구

안전한 시험 브라우저

안전한 시험 브라우저

안전한 시험 브라우저는 온라인 시험을 안전하게 치르기 위한 보안 브라우저 환경입니다. 이 소프트웨어는 모든 컴퓨터를 안전한 워크스테이션으로 바꿔줍니다. 이는 모든 유틸리티에 대한 액세스를 제어하고 학생들이 승인되지 않은 리소스를 사용하는 것을 방지합니다.

ZendStudio 13.5.1 맥

ZendStudio 13.5.1 맥

강력한 PHP 통합 개발 환경

SublimeText3 영어 버전

SublimeText3 영어 버전

권장 사항: Win 버전, 코드 프롬프트 지원!

스튜디오 13.0.1 보내기

스튜디오 13.0.1 보내기

강력한 PHP 통합 개발 환경

드림위버 CS6

드림위버 CS6

시각적 웹 개발 도구