3D 자산 생성 분야의 좋은 소식: 자동화 연구소와 베이징 우편 통신 대학 팀이 공동으로 재료 생성의 새로운 패러다임을 만듭니다.

AIxiv 칼럼은 본 사이트에서 학술 및 기술 콘텐츠를 게재하는 칼럼입니다. 지난 몇 년 동안 이 사이트의 AIxiv 칼럼에는 전 세계 주요 대학 및 기업의 최고 연구실을 대상으로 한 2,000개 이상의 보고서가 접수되어 학술 교류 및 보급을 효과적으로 촉진하고 있습니다. 공유하고 싶은 훌륭한 작품이 있다면 자유롭게 기여하거나 보고를 위해 연락주시기 바랍니다. 제출 이메일: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com

오늘날의 디지털 시대에 3D 자산은 메타버스 구축, 디지털 트윈 실현, 가상 현실 및 증강 현실 적용에 중요한 역할을 합니다. 현실 기술 혁신과 사용자 경험 개선을 촉진합니다.

기존 3D 자산 생성 방법은 일반적으로 생성 모델을 사용하여 공간적으로 변하는 양방향 반사 분포 함수(SVBRDF)를 기반으로 미리 설정된 조명 조건에서 표면 위치의 재료 특성을 추론합니다. 그러나 이러한 방법은 주변에 있는 일반적인 물체의 표면 재질에 대한 사람들의 인식을 통해 구축된 강력하고 풍부한 사전 지식을 거의 고려하지 않으며(예를 들어 자동차 타이어는 외부 가장자리에 고무 트레드를 감싼 금속 바퀴여야 함) 재질은 객체 자체의 RGB 색상과 분리되어야 합니다. 원래의 의미를 바꾸지 않고 기존 3D 자산 생성 방법은 공간적으로 변하는 양방향 반사 분포 함수(SVBRDF)를 기반으로 하는 생성 모델을 활용하여 사전 정의된 조명 조건에서 표면 위치를 고려하여 재료 특성을 추론하는 경우가 많습니다. 사람들이 우리 주변의 일반적인 물체의 표면 재료를 구성하는 데 있어 풍부한 사전 지식(예: 자동차 타이어의 바깥쪽 가장자리에 있는 금속 테두리를 덮는 고무 트레드가 있어야 한다는 사실)은 재료와 RGB 색상 간의 분리를 무시합니다.

따라서 물체 표면 재료에 대한 인간의 사전 지식을 재료 생성 프로세스에 효과적으로 통합하여 기존 3D 자산의 전반적인 품질을 향상시키는 방법이 현재 연구의 중요한 주제가 되었습니다.

최근 중국과학원 자동화 연구소, 베이징 우편통신대학교, 홍콩 폴리테크닉 대학교 등 베이징과 홍콩 연구팀은 "MaterialSeg3D: Segmenting Dense Materials from from "라는 제목의 논문을 발표했습니다. 3D 자산에 대한 2D 사전" 이 논문은 여러 유형의 복잡한 재료 개체에 대한 최초의 2D 재료 분할 데이터 세트 MIO를 구성했습니다. 여기에는 단일 개체에 대한 픽셀 수준 재료 레이블과 여러 의미 범주에 따른 다양한 카메라 각도가 포함되어 있습니다. 본 연구에서는 2D 의미 사전 분석을 활용하여 UV 공간에서 3D 자산의 표면 재질을 추론할 수 있는 재질 생성 방식인 MaterialSeg3D를 제안합니다.

• Paper: https://arxiv.org/pdf/2404.13923

• 코드 주소: https://github.com/PROPHETE-pro/MaterialSeg3D_

• 프로젝트 웹사이트: https:/ / /materialseg3d.github.io/

3D 모델러는 일반적으로 상식이나 실제 객체 프로토타입을 기반으로 자산 표면의 재질을 정의합니다. 이와 대조적으로 생성 모델을 기반으로 3D 자산을 구축하는 방법은 SVBRDF를 사용하여 재료 정보를 추론하지만 정확한 고품질 3D 자산 샘플이 부족하기 때문에 이러한 방법은 높은 일반화 및 충실도를 갖춘 물리적 재료 채널 정보를 생성하는 데 어려움을 겪습니다. 또한 이러한 유형의 방법은 물체 표면 재료 정보에 대한 사전 지식을 풍부하게 하기 위해 공공 웹 사이트의 방대한 웹 이미지 데이터를 활용하지 못합니다.

따라서 이 글에서는 3D 자산에 대한 재료 정보 정의를 해결하는 작업에 2D 이미지의 재료에 대한 사전 지식을 도입하는 방법에 중점을 둡니다.

MIO 데이터세트

본 논문에서는 먼저 기존 3D 자산 데이터 세트에서 재료 분류에 대한 사전 지식을 추출하려고 시도했지만, 데이터 세트의 샘플 수가 너무 적고 단일 스타일로 인해 분할 모델이 올바른 사전 지식을 학습하기가 어렵습니다.

3D 자산에 비해 2D 이미지는 공개 웹사이트나 데이터 세트에서 더 광범위하게 사용할 수 있습니다. 그러나 기존의 주석이 달린 2D 이미지 데이터 세트와 3D ​​자산 렌더링의 배포에는 큰 격차가 있으며 재료에 대한 충분한 사전 지식을 직접적으로 제공할 수 없습니다.

따라서 이 기사에서는 현재 다중 카테고리 단일 복합 재료 자산의 최대 2D 재료 분할 데이터 세트인 맞춤형 데이터 세트 MIO(Materialized Individual Objects)를 구성했습니다. 여기에는 다양한 카메라 각도에서 샘플링된 이미지가 포함되어 있습니다. 전문 팀. ㅋㅋㅋ 자료 클래스 주석 및 PBR 자료의 시각적 예 구 매핑.

이 데이터 세트를 구성할 때 이 기사는 다음 규칙을 따릅니다.

샘플링된 각 이미지에는 눈에 띄는 전경 객체가 하나만 포함됩니다.

실제 장면 2D 사진과 3D 자산 렌더링의 비슷한 수를 수집합니다

• 탑뷰, 바텀뷰 등 특별한 관점을 포함해 다양한 카메라 각도에서 이미지 샘플을 수집합니다

• MIO 데이터셋의 독창성은 각 소재 카테고리에 대한 픽셀 수준의 라벨을 구성할 뿐만 아니라 별도로 구성한다는 점입니다. 각 재료 카테고리와 PBR 재료 값 간의 일대일 매핑 관계. 이러한 매핑 관계는 9명의 전문 3D 모델러 간의 논의를 거쳐 결정되었습니다. 본 논문에서는 공공자료 라이브러리에서 실제 PBR 소재볼 1,000개 이상을 후보소재로 수집하고, 모델러의 전문적인 지식을 바탕으로 선별 및 구체화하여 최종적으로 14개의 소재 카테고리를 결정하였고, 이들의 PBR 소재와의 매핑 관계는 다음과 같다. 데이터 세트의 공간.
MIO 데이터 세트에는 단일 복합 객체에 대한 총 23,062개의 다중 뷰 이미지가 포함되어 있으며, 이는 가구, 자동차, 건물, 악기 및 식물의 5가지 대형 메타 범주로 나눌 수 있습니다. 특히 MIO 데이터세트에는 약 4000개의 평면도 이미지가 포함되어 있어 기존 2D 데이터세트에서는 볼 수 없는 독특한 관점을 제공한다는 점이 특히 주목할 만합니다.

MaterialSeg3D

재료 정보에 대한 사전 지식의 신뢰할 수 있는 소스인 MIO 데이터 세트를 사용하여 본 논문에서는 MaterialSeg3D라는 3D 자산의 표면 재료 예측을 위한 새로운 패러다임을 제안합니다. 조명, 그림자 및 반사를 포함하여 개체의 물리적 특성을 실제로 시뮬레이션할 수 있는 자산 표면의 PBR 재료는 3D 개체가 다양한 환경에서 높은 수준의 신뢰성과 일관성을 보여줄 수 있도록 하여 기존 3D의 새로운 기반을 제공합니다. 자산 정보 부족 문제에 대한 효과적인 솔루션을 제안합니다.

MaterialSeg3D 전체 처리 흐름에는 3D 자산의 다중 뷰 렌더링, 다중 뷰에서의 재료 예측 및 3D 재료 UV 생성의 세 부분이 포함됩니다. 멀티뷰 렌더링 단계에서는 탑뷰, 사이드뷰, 12개의 서라운드 각도에 대한 카메라 포즈와 임의의 피치 각도를 결정하여 2D 렌더링 이미지를 생성했습니다. 재료 예측 단계에서는 MIO 데이터 세트를 기반으로 훈련된 재료 분할 모델을 사용하여 멀티뷰 렌더링을 위한 픽셀 수준 재료 라벨을 예측합니다. 재료 UV 생성 단계에서는 재료 예측 결과를 임시 UV 맵에 매핑하고, 가중치 투표 메커니즘을 통해 최종 재료 라벨 UV를 얻어 PBR 재료 맵으로 변환합니다.

시각화된 효과 및 실험

MaterialSeg3D의 효율성을 평가하기 위해 본 논문에서는 단일 이미지에서 3D 자산 생성 방법, 텍스처 생성, 공개 3D 자산의 세 가지 측면에 중점을 두고 최근 작업과 유사한 정량적 및 정성적 실험 분석을 수행합니다. 단일 이미지와 3D 자산 생성 방법의 경우 자산의 특정 참조 보기를 입력으로 사용하고 텍스처 기능이 있는 3D 개체를 직접 생성하는 Wonder3D, TripoSR 및 OpenLRM을 사용하여 비교했습니다. MaterialSeg3D로 처리된 자산은 이전 작업에 비해 렌더링 사실성이 크게 향상되었음을 시각적 이미지를 통해 관찰할 수 있습니다. 또한 본 논문에서는 Fantasia3D, Text2Tex와 같은 기존 텍스처 생성 방법과 텍스트 프롬프트 정보를 기반으로 텍스처 결과를 생성할 수 있는 Meshy 웹사이트에서 제공하는 온라인 기능을 비교합니다.

이를 기반으로 MaterialSeg3D는 다양한 조명 조건에서 정확한 PBR 재료 정보를 생성하여 렌더링 효과를 더욱 사실적으로 만들 수 있습니다.

정량적 실험에서는 CLIP 유사성, PSNR 및 SSIM을 평가 지표로 사용하고 Objaverse-1.0 데이터 세트의 자산을 테스트 샘플로 선택하며 카메라 각도 3개를 새로운 뷰로 무작위로 선택합니다.

이 실험은 MaterialSeg3D의 효과를 입증합니다. 공개 3D 자산에서 누락된 PBR 재료 정보를 생성하여 모델러 및 후속 연구 작업에 더 많은 고품질 자산을 제공할 수 있습니다.

요약 및 전망

이 문서에서는 3D 자산의 표면 재료 생성 문제를 탐구하고 맞춤형 2D 재료 분할 데이터 세트 MIO를 구축합니다. 이 신뢰할 수 있는 데이터 세트의 지원을 통해 단일 3D 자산에 대해 분리된 독립적 PBR 재료 정보를 생성할 수 있는 새로운 3D 자산 표면 재료 생성 패러다임인 MaterialSeg3D가 제안되어 다양한 조명 조건에서 기존 3D 자산의 성능을 크게 향상시킵니다. 현실적이고 합리적이다.

저자는 향후 연구에서는 이 세대 패러다임이 가능하도록 데이터 세트 내 객체 메타클래스 수 확장, 의사 라벨 생성을 통한 데이터 세트 크기 확장, 물질 분할 모델 자체 학습에 중점을 둘 것이라고 지적합니다. 대부분의 3D 자산 유형에 직접 적용됩니다.

위 내용은 3D 자산 생성 분야의 좋은 소식: 자동화 연구소와 베이징 우편 통신 대학 팀이 공동으로 재료 생성의 새로운 패러다임을 만듭니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!