찾다
기술 주변기기일체 포함새 타이틀: 실시간 렌더링이 진화했습니다! 광선을 기반으로 한 혁신적인 3차원 재구성 방법

새 타이틀: 실시간 렌더링이 진화했습니다! 광선을 기반으로 한 혁신적인 3차원 재구성 방법Pictures

문서 링크:https://arxiv.org/pdf/2310.19629

코드 링크:https://github.com/vLAR-group/RayDF

홈페이지:필수 재작성된 콘텐츠는 다음과 같습니다: https://vlar-group.github.io/RayDF.html

재작성된 콘텐츠: 구현 방법:

새 타이틀: 실시간 렌더링이 진화했습니다! 광선을 기반으로 한 혁신적인 3차원 재구성 방법

RayDF의 전체 프로세스 및 구성 요소는 다음과 같습니다(그림 1 참조).

1. 소개

머신 비전 및 로봇 공학 분야의 많은 최첨단 응용 분야에서 정확하고 효율적인 세 가지를 배웁니다. -차원적인 도형 표현이 매우 중요합니다. 그러나 기존의 3차원 좌표 기반 암시적 표현은 3차원 형상을 표현하거나 2차원 이미지를 렌더링할 때 많은 계산 비용이 소요되는 반면, 광선 기반 방법은 3차원 형상을 효율적으로 추론할 수 있습니다. 그러나 기존의 광선 기반 방법은 다시점 각도에서의 기하학적 일관성을 고려하지 않아 알 수 없는 시야각에서 정확한 기하학적 형상을 복원하기 어렵습니다. 이러한 문제를 해결하기 위해 본 논문에서는 다시점을 유지하는 새로운 방법을 제안합니다. 기하학적 일관성. RayDF라는 광선 기반 암시적 표현 방법입니다. 이 방법은 새로운 이중 광선 가시성 분류기와 다중 뷰 일관성 최적화 모듈을 도입하여 간단한 광선-표면 거리 필드를 기반으로 합니다. )

, 여러 보기 각도의 기하학적 일관성을 충족하는 광선-표면 거리를 얻는 방법을 학습합니다. . 실험 결과는 수정된 방법이 세 가지 데이터 세트에서 우수한 3D 표면 재구성 성능을 달성하고 좌표 기반 방법보다 1000배 빠른 렌더링 속도를 달성한다는 것을 보여줍니다(표 1 참조).

새 타이틀: 실시간 렌더링이 진화했습니다! 광선을 기반으로 한 혁신적인 3차원 재구성 방법다음은 주요 기여입니다.

광선-표면 거리 필드를 사용하여 3차원 도형을 표현하는 이 표현식은 기존 좌표 기반 표현식보다 효율적입니다.

  • 새로운 이중 광선 가시성 분류기를 설계했습니다. 광선 쌍의 공간 관계를 학습함으로써 학습된 광선 표면 거리 필드가 여러 시야각에서 기하학적 일관성을 유지할 수 있습니다.
  • 3D 형상 재구성에서 이 방법의 정확성과 효율성은 여러 데이터 세트에서 입증되었습니다.

  • 2. 방법
2.1 개요

그림 1에서 볼 수 있듯이 RayDF에는 두 개의 네트워크와 최적화 모듈이 포함되어 있습니다. 메인 네트워크 광선-표면 거리 네트워크의 경우 광선의 시작점과 광선이 닿는 기하학적 표면 지점 사이의 거리 값을 얻으려면 광선만 입력하면 됩니다. 그 중 RayDF는 그림 2와 같이 3차원 장면을 둘러싼 공을 사용하여 입력 광선을 매개변수화하고 매개변수화된 4차원 구 좌표(발생점 및 종료점)를 네트워크 입력으로 사용합니다. 보조 네트워크 이중 광선 가시성 분류기의 경우 광선 쌍과 기하학적 표면 점을 입력하여 두 광선 간의 상호 가시성을 예측합니다. 훈련을 받은 후 이 보조 네트워크는 후속 다중 뷰 일관성 최적화 모듈에서 핵심 역할을 합니다.

그림 2 광선 매개변수화 및 광선-표면 거리장의 네트워크 구조새 타이틀: 실시간 렌더링이 진화했습니다! 광선을 기반으로 한 혁신적인 3차원 재구성 방법

2.2 이중 광선 가시성 분류기

이 방법의 보조 네트워크는 두 개의 입력 광선이 동시에 표면을 볼 수 있는지 여부를 예측하는 것입니다. 포인트에 대한 이진 분류자입니다. 그림 3에서 볼 수 있듯이 두 개의 입력 광선에서 얻은 특징은 예측 결과가 두 광선의 순서에 영향을 받지 않도록 평균화됩니다. 동시에, 표면점을 별도로 인코딩하여 얻은 특징을 광선 특징 뒤에 접합하여 광선 특징을 강화함으로써 분류기의 정확도를 향상시킵니다.

이중선 가시성 분류기의 프레임워크 구조는 그림 3과 같습니다.새 타이틀: 실시간 렌더링이 진화했습니다! 광선을 기반으로 한 혁신적인 3차원 재구성 방법

2.3 다중 시점 일관성 최적화

설계된 주망 광선-표면 거리망과 보조망 이중선 가시성 분류기를 기반으로, 두 네트워크에서 2단계 학습을 수행하기 위해 다중 뷰 일관성 최적화의 핵심 모듈이 도입되었습니다.

(1) 먼저 보조 네트워크 이중 광선 가시성 분류기에 대한 훈련을 위한 광선 쌍을 구성합니다. 그림의 광선(그림의 픽셀에 해당)의 경우 해당 공간 표면 지점은 광선 표면 거리를 통해 알 수 있습니다. 이를 훈련 세트의 나머지 시야각에 투영하여 다른 광선과 이 광선을 얻습니다. 해당 광선 표면 거리가 있습니다. 기사에서는 두 광선이 서로 보이는지 여부를 결정하기 위해 임계값을 10mm로 설정합니다.

(2) 두 번째 단계는 예측 거리 필드가 다중 시점 일관성을 충족하도록 주 네트워크 광선-표면 거리 네트워크를 훈련시키는 것입니다. 그림 4에서 보는 바와 같이 주광선과 그 표면점에 대해 표면점을 구의 중심으로 균일하게 샘플링하여 여러 개의 다시점 광선을 얻는다. 주 광선과 이러한 다중 뷰 광선을 하나씩 결합하면 훈련된 이중 광선 가시성 분류기를 통해 상호 가시성을 얻을 수 있습니다. 그런 다음 광선 표면 거리 네트워크를 통해 이러한 광선의 광선 표면 거리를 예측합니다. 주 광선과 특정 샘플링 광선이 서로 표시되면 두 광선의 광선 표면 거리로 계산된 표면 점이 동일해야 합니다. 해당 손실 함수가 설계되고 메인 네트워크가 훈련되어 궁극적으로 광선-표면 거리 필드가 다중 뷰 일관성을 충족할 수 있습니다.

새 타이틀: 실시간 렌더링이 진화했습니다! 광선을 기반으로 한 혁신적인 3차원 재구성 방법

2.4 표면 법선 도출 및 이상점 제거

장면 표면 가장자리의 깊이 값에는 종종 돌연변이(불연속성)가 있고 신경망은 연속 함수이므로 위의 광선-표면 거리 필드는 다음과 같습니다. 표면에서 가장자리에서는 부정확한 거리 값을 예측하기 쉽고, 가장자리의 기하학적 표면에 노이즈가 발생합니다. 다행히 설계된 광선-표면 거리장은 그림 5와 같이 좋은 특징을 가지고 있습니다. 추정된 각 3차원 표면 지점의 법선 벡터는 네트워크의 자동 미분을 통해 닫힌 형태로 쉽게 찾을 수 있습니다. 따라서 네트워크 추론 단계에서 표면 점의 법선 벡터의 유클리드 거리를 계산할 수 있으며, 거리 값이 임계값보다 크면 표면 점을 이상값으로 간주하여 제거함으로써 깨끗한 3차원을 얻을 수 있습니다. 재구성된 표면.

새 타이틀: 실시간 렌더링이 진화했습니다! 광선을 기반으로 한 혁신적인 3차원 재구성 방법

그림 5 표면 법선 계산

III. 실험

제안한 방법의 유효성을 확인하기 위해 세 가지 데이터 세트에 대한 실험을 수행했습니다. 이 세 가지 데이터 세트는 객체 수준 합성 데이터 세트 Blender [1], 장면 수준 합성 데이터 세트 DM-SR [2] 및 장면 수준 실제 데이터 세트 ScanNet [3]입니다. 성능 비교를 위해 7가지 기준을 선택했습니다. 그 중 OF [4]/DeepSDF [5]/NDF [6]/NeuS [7]는 좌표 기반 레벨 설정 방법이고, DS-NeRF [8]는 깊이 감독 NeRF 기반 방법, LFN [ 9]와 PRIF [10]은 두 개의 광선 기반 기준선입니다.

RayDF 방법은 텍스처를 학습하기 위해 직접적으로 복사 분기를 추가할 수 있기 때문에 복사 필드 예측을 지원하는 기본 모델과 비교할 수 있습니다. 따라서 본 논문의 비교 실험은 두 그룹으로 나누어진다. 첫 번째 그룹(그룹 1)은 거리(기하학)만 예측하고, 두 번째 그룹(그룹 2)은 거리와 광도(기하학 및 질감)를 모두 예측한다.

3.1 평가 블렌더 데이터세트

표 2와 그림 6에서 볼 수 있듯이 그룹 1과 2에서 RayDF는 표면 재구성, 특히 가장 중요한 ADE 표시기에서 좌표와 광선을 기반으로 한 기준선보다 훨씬 더 나은 결과를 얻었습니다. 동시에 Radiance Field 렌더링 측면에서도 RayDF는 DS-NeRF에 필적하고 LFN 및 PRIF보다 우수한 성능을 달성했습니다.

새 타이틀: 실시간 렌더링이 진화했습니다! 광선을 기반으로 한 혁신적인 3차원 재구성 방법

새 타이틀: 실시간 렌더링이 진화했습니다! 광선을 기반으로 한 혁신적인 3차원 재구성 방법

그림 6 Blender 데이터 세트의 시각적 비교

3.2 DM-SR 데이터 세트 평가

표 3에서 볼 수 있듯이 가장 중요한 ADE 지표에서 RayDF는 모든 기준을 능가합니다. 동시에 Group 2 실험에서 RayDF는 정확한 표면 형상이 복원되었음을 확인하면서 고품질의 새로운 뷰 합성을 얻을 수 있었습니다(그림 7 참조).

새 타이틀: 실시간 렌더링이 진화했습니다! 광선을 기반으로 한 혁신적인 3차원 재구성 방법

새 타이틀: 실시간 렌더링이 진화했습니다! 광선을 기반으로 한 혁신적인 3차원 재구성 방법

그림 7 DM-SR 데이터 세트의 시각적 비교

3.3 ScanNet 데이터 세트 평가

표 4는 까다로운 실제 시나리오에서 RayDF의 성능과 기준선을 비교합니다. 첫 번째 및 두 번째 그룹에서 RayDF는 거의 모든 평가 지표에서 기준보다 훨씬 뛰어난 성능을 보여 복잡한 실제 3D 장면

새 타이틀: 실시간 렌더링이 진화했습니다! 광선을 기반으로 한 혁신적인 3차원 재구성 방법

새 타이틀: 실시간 렌더링이 진화했습니다! 광선을 기반으로 한 혁신적인 3차원 재구성 방법

을 복구하는 데 분명한 이점을 보여줍니다. 다음은 데이터 세트의 시각적 비교를 위해 그림 8 ScanNet 재작성된 콘텐츠입니다. 그림 8에서는 ScanNet 데이터 세트의 시각적 비교 결과를 보여줍니다.

3.4 Ablation Study

Blender 데이터 세트에 대해 Ablation 실험을 수행했습니다. 논문의 표 5는 핵심 Dual-Ray Visibility Classifier의 Ablation 실험 결과를 보여줍니다.

  • 는 표 5(1)에 나와 있습니다. 이중 광선 가시성 분류기의 도움이 없으면 광선 표면 거리 필드는 새로운 시야각에서 광선에 대한 합리적인 거리 값을 예측할 수 없습니다(그림 참조). 9).
  • 분류기의 입력에서는 표 5의 (2)와 (3)과 같이 입력된 표면 점 좌표가 보조로 선택되거나 표면 점 거리 값이 보조로 선택되거나 보조 정보가 제공되지 않는 경우 분류기의 정확도가 낮고 F1 점수가 획득되므로 광선 표면 거리 네트워크에 제공되는 가시성 정보가 부족하여 잘못된 거리 값을 예측하게 됩니다.
  • 표 5(4)에서 볼 수 있듯이 한 쌍의 광선을 비대칭 방식으로 입력하면 훈련된 분류기의 정확도는 높아지지만 F1 점수는 낮아집니다. 이는 이 분류기가 대칭 입력 광선으로 훈련된 분류기보다 훨씬 덜 강력하다는 것을 보여줍니다.

다른 절제 작업은 종이와 종이 부록에서 볼 수 있습니다

새 타이틀: 실시간 렌더링이 진화했습니다! 광선을 기반으로 한 혁신적인 3차원 재구성 방법

새 타이틀: 실시간 렌더링이 진화했습니다! 광선을 기반으로 한 혁신적인 3차원 재구성 방법

다시 작성해야 하는 내용은 다음과 같습니다. 그림 9는 분류기를 사용하는 것과 분류기를 사용하지 않는 것을 시각적으로 비교한 것입니다

IV. 결론

광선 기반 다중 시점 일관성 프레임워크를 사용하여 연구를 진행하면서 본 논문은 이 방법을 통해 3차원 형상 표현을 효율적이고 정확하게 학습할 수 있다는 결론에 도달했습니다. 논문에서는 간단한 광선-표면 거리 필드를 사용하여 3차원 형상의 기하학을 표현하고, 새로운 이중 광선 가시성 분류기를 사용하여 다중 시점 기하학적 일관성을 더욱 달성했습니다. 여러 데이터 세트에 대한 실험을 통해 RayDF 방법은 렌더링 효율성이 매우 높고 성능이 우수하다는 것이 입증되었습니다. RayDF 프레임워크에 대한 추가 확장을 환영합니다. 홈페이지에서 더 많은 시각화 결과를 보실 수 있습니다

다시 작성해야 할 내용은 다음과 같습니다: https://vlar-group.github.io/RayDF.html

새 타이틀: 실시간 렌더링이 진화했습니다! 광선을 기반으로 한 혁신적인 3차원 재구성 방법

다시 작성해야 할 내용은 원본입니다. 링크 : https://mp.weixin.qq.com/s/dsrSHKT4NfgdDPYcKOhcOA

위 내용은 새 타이틀: 실시간 렌더링이 진화했습니다! 광선을 기반으로 한 혁신적인 3차원 재구성 방법의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

성명
이 기사는 51CTO.COM에서 복제됩니다. 침해가 있는 경우 admin@php.cn으로 문의하시기 바랍니다. 삭제
신속한 엔지니어링에서 생각의 그래프는 무엇입니까?신속한 엔지니어링에서 생각의 그래프는 무엇입니까?Apr 13, 2025 am 11:53 AM

소개 신속한 엔지니어링에서 "Thought of Thought"는 그래프 이론을 사용하여 AI의 추론 과정을 구성하고 안내하는 새로운 접근법을 나타냅니다. 종종 선형 S와 관련된 전통적인 방법과 달리

Genai 에이전트와 함께 조직의 이메일 마케팅을 최적화하십시오Genai 에이전트와 함께 조직의 이메일 마케팅을 최적화하십시오Apr 13, 2025 am 11:44 AM

소개 축하해요! 당신은 성공적인 사업을 운영합니다. 웹 페이지, 소셜 미디어 캠페인, 웹 세미나, 컨퍼런스, 무료 리소스 및 기타 소스를 통해 매일 5000 개의 이메일 ID를 수집합니다. 다음 명백한 단계는입니다

Apache Pinot을 사용한 실시간 앱 성능 모니터링Apache Pinot을 사용한 실시간 앱 성능 모니터링Apr 13, 2025 am 11:40 AM

소개 오늘날의 빠르게 진행되는 소프트웨어 개발 환경에서 최적의 애플리케이션 성능이 중요합니다. 응답 시간, 오류율 및 자원 활용과 같은 실시간 메트릭 모니터링 메인이 도움이 될 수 있습니다.

Chatgpt가 10 억 명의 사용자를 쳤습니까? Openai CEO는'몇 주 만에 두 배가되었습니다Chatgpt가 10 억 명의 사용자를 쳤습니까? Openai CEO는'몇 주 만에 두 배가되었습니다Apr 13, 2025 am 11:23 AM

"얼마나 많은 사용자가 있습니까?" 그는 자극했다. Altman은“마지막으로 우리가 마지막으로 말한 것은 매주 5 억 명의 행위자이며 매우 빠르게 성장하고 있다고 생각합니다. 앤더슨은 계속해서“당신은 나에게 몇 주 만에 두 배가되었다고 말했습니다. “저는 그 개인이라고 말했습니다

Pixtral -12B : Mistral AI의 첫 번째 멀티 모드 모델 -Anuctics VidhyaPixtral -12B : Mistral AI의 첫 번째 멀티 모드 모델 -Anuctics VidhyaApr 13, 2025 am 11:20 AM

소개 Mistral은 최초의 멀티 모드 모델, 즉 Pixtral-12B-2409를 발표했습니다. 이 모델은 Mistral의 120 억 개의 매개 변수 인 NEMO 12B를 기반으로합니다. 이 모델을 차별화하는 것은 무엇입니까? 이제 이미지와 Tex를 모두 가져갈 수 있습니다

생성 AI 응용 프로그램을위한 에이전트 프레임 워크 - 분석 Vidhya생성 AI 응용 프로그램을위한 에이전트 프레임 워크 - 분석 VidhyaApr 13, 2025 am 11:13 AM

쿼리에 응답 할뿐만 아니라 자율적으로 정보를 모으고, 작업을 실행하며, 여러 유형의 데이터 (텍스트, 이미지 및 코드를 처리하는 AI 구동 조수가 있다고 상상해보십시오. 미래처럼 들리나요? 이것에서

금융 부문에서 생성 AI의 응용금융 부문에서 생성 AI의 응용Apr 13, 2025 am 11:12 AM

소개 금융 산업은 효율적인 거래 및 신용 가용성을 촉진함으로써 경제 성장을 주도하기 때문에 모든 국가 개발의 초석입니다. 거래가 발생하는 용이성 및 신용

온라인 학습 및 수동 공격 알고리즘 안내온라인 학습 및 수동 공격 알고리즘 안내Apr 13, 2025 am 11:09 AM

소개 소셜 미디어, 금융 거래 및 전자 상거래 플랫폼과 같은 소스에서 전례없는 속도로 데이터가 생성되고 있습니다. 이 지속적인 정보 스트림을 처리하는 것은 어려운 일이지만

See all articles

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

AI Hentai Generator

AI Hentai Generator

AI Hentai를 무료로 생성하십시오.

인기 기사

R.E.P.O. 에너지 결정과 그들이하는 일 (노란색 크리스탈)
3 몇 주 전By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. 최고의 그래픽 설정
3 몇 주 전By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. 아무도들을 수없는 경우 오디오를 수정하는 방법
3 몇 주 전By尊渡假赌尊渡假赌尊渡假赌
WWE 2K25 : Myrise에서 모든 것을 잠금 해제하는 방법
4 몇 주 전By尊渡假赌尊渡假赌尊渡假赌

뜨거운 도구

안전한 시험 브라우저

안전한 시험 브라우저

안전한 시험 브라우저는 온라인 시험을 안전하게 치르기 위한 보안 브라우저 환경입니다. 이 소프트웨어는 모든 컴퓨터를 안전한 워크스테이션으로 바꿔줍니다. 이는 모든 유틸리티에 대한 액세스를 제어하고 학생들이 승인되지 않은 리소스를 사용하는 것을 방지합니다.

맨티스BT

맨티스BT

Mantis는 제품 결함 추적을 돕기 위해 설계된 배포하기 쉬운 웹 기반 결함 추적 도구입니다. PHP, MySQL 및 웹 서버가 필요합니다. 데모 및 호스팅 서비스를 확인해 보세요.

Eclipse용 SAP NetWeaver 서버 어댑터

Eclipse용 SAP NetWeaver 서버 어댑터

Eclipse를 SAP NetWeaver 애플리케이션 서버와 통합합니다.

SublimeText3 영어 버전

SublimeText3 영어 버전

권장 사항: Win 버전, 코드 프롬프트 지원!

SublimeText3 Mac 버전

SublimeText3 Mac 버전

신 수준의 코드 편집 소프트웨어(SublimeText3)