메타버스에서 3D 창작 도구에 대한 수요가 지속적으로 증가함에 따라 최근 사람들은 3차원 콘텐츠 생성(3D AIGC)에 큰 관심을 보였습니다. 동시에 3D 콘텐츠 제작도 품질과 속도 면에서 상당한 발전을 이루었습니다.
현재의 피드포워드 생성 모델은 몇 초 만에 3D 객체를 생성할 수 있지만 훈련 중에 필요한 집중적인 계산으로 인해 해상도가 제한되어 품질이 낮은 콘텐츠가 생성됩니다. 이는 단 5초 만에 고해상도, 고품질 3D 물체를 생성할 수 있는가 하는 의문을 제기합니다.
이 기사에서 Peking University, Nanyang Technological University S-Lab 및 Shanghai Artificial Intelligence Laboratory의 연구원은 새로운 프레임워크 LGM, 즉 Large Gaussian Model을 제안했습니다. 또는 텍스트를 입력하면 단 5초 만에 고해상도, 고품질의 3차원 개체를 생성할 수 있습니다.
현재 코드와 모델 가중치는 모두 오픈 소스입니다. 연구원들은 또한 모든 사람이 시도해 볼 수 있는 온라인 데모를 제공합니다.
- 논문 제목: LGM: 고해상도 3D 콘텐츠 제작을 위한 대형 다중 뷰 가우스 모델
- 프로젝트 홈페이지: https://me.kiui.moe/lgm/
- 코드 : https://github.com/3DTopia/LGM
- Paper: https://arxiv.org/abs/2402.05054
- 온라인 데모: https://huggingface.co/spaces/ashawkey/LGM
이러한 목표를 달성하기 위해 연구자들은 다음 두 가지 과제에 직면합니다.
- 제한된 계산량에서 효율적인 3D 표현: 기존 3D 생성 작업은 3개의 평면을 기반으로 하는 NeRF를 3D 표현 및 렌더링으로 사용합니다. 파이프라인의 집중적인 장면 모델링과 광선 추적 볼륨 렌더링 기술은 훈련 해상도(128×128)를 크게 제한하여 최종 생성된 콘텐츠 텍스처를 흐릿하게 만들고 품질을 저하시킵니다.
- 고해상도의 3D 백본 생성 네트워크: 기존 3D 생성 작업에서는 밀도가 높은 변환기를 백본 네트워크로 사용하여 범용 개체를 모델링할 수 있을 만큼 조밀한 매개변수 양을 보장하지만 이는 어느 정도 희생됩니다. 훈련 해상도 최종 3차원 물체의 품질이 저하됩니다.
이를 위해 본 논문에서는 4개 시점 이미지로부터 고해상도 3차원 표현을 합성한 후, 기존 텍스트를 다시점 이미지로, 단일 이미지를 다시점 이미지 모델로 활용하는 새로운 방법을 제안한다. . 고품질 텍스트-3D 및 이미지-3D 작업을 지원합니다 .
기술적으로 LGM 코어 모듈은 Large Multi-View Gaussian Model입니다. 가우스 스퍼터링에서 영감을 받은 이 방법은 효율적이고 가벼운 비대칭 U-Net을 백본 네트워크로 사용하여 4개 뷰 이미지에서 고해상도 가우스 프리미티브를 직접 예측하고 최종적으로 모든 뷰 각도에서 이미지를 렌더링합니다.
구체적으로 백본 네트워크 U-Net은 4가지 관점의 이미지와 해당 Plucker 좌표를 수용하고 다양한 관점에서 고정된 개수의 가우스 특징을 출력합니다. 이 가우스 특징 세트는 최종 가우스 요소에 직접 융합되며 다양한 보기 각도의 이미지는 미분 렌더링을 통해 얻어집니다.
이 프로세스에서는 낮은 계산 오버헤드를 유지하면서 저해상도 피처 맵에서 서로 다른 뷰 간의 상관 관계 모델링을 구현하기 위해 교차 뷰 Self-Attention 메커니즘이 사용됩니다.
이러한 모델을 고해상도에서 효율적으로 훈련시키는 것이 쉽지 않다는 점은 주목할 가치가 있습니다. 강력한 훈련을 달성하기 위해 연구자들은 여전히 다음 두 가지 문제에 직면하고 있습니다.
먼저 학습 단계에서는 objaverse 데이터 세트에 렌더링된 3차원 일관된 다시점 이미지를 사용하는 반면, 추론 단계에서는 기존 모델을 직접 사용하여 텍스트나 이미지로부터 다관점 이미지를 합성합니다. 모델을 기반으로 합성된 다시점 사진은 항상 다시점 불일치 문제가 있기 때문에 이 영역의 격차를 해소하기 위해 본 논문에서는 그리드 왜곡 기반의 데이터 향상 전략을 제안합니다. 즉, 3개 시점의 사진에 무작위화를 적용하는 것입니다. 다중 뷰 불일치를 시뮬레이션하기 위한 이미지 공간 왜곡.
두 번째로, 추론 단계에서 생성된 다시점 이미지는 카메라 시점의 3차원 기하학의 일관성을 엄밀하게 보장하지 않기 때문에 이 글에서도 세 시점의 카메라 포즈를 무작위로 교란하여 이 현상을 시뮬레이션합니다. , 모델이 추론을 더 잘 수행할 수 있도록 무대가 더욱 안정적입니다 .
마지막으로 생성된 가우스 프리미티브는 미분 렌더링을 통해 해당 이미지로 렌더링되고, 지도 학습을 통해 2차원 이미지에 대해 직접 end-to-end 학습됩니다.학습이 완료된 후 LGM은 기존의 이미지-다중 뷰 또는 텍스트-다중 뷰 확산 모델을 통해 고품질의 Text-to-3D 및 Image-to-3D 작업을 달성할 수 있습니다.
위 내용은 대형 다중 뷰 가우스 모델 LGM: 5초 안에 고품질 3D 개체를 생성하고 시험해 볼 수 있습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

젬마 범위로 언어 모델의 내부 작업 탐색 AI 언어 모델의 복잡성을 이해하는 것은 중요한 도전입니다. 포괄적 인 툴킷 인 Gemma Scope의 Google 릴리스는 연구원에게 강력한 강력한 방법을 제공합니다.

비즈니스 성공 잠금 해제 : 비즈니스 인텔리전스 분석가가되는 가이드 원시 데이터를 조직의 성장을 이끌어내는 실행 가능한 통찰력으로 바꾸는 것을 상상해보십시오. 이것은 비즈니스 인텔리전스 (BI) 분석가의 힘 - GU에서 중요한 역할입니다.

SQL의 Alter Table 문 : 데이터베이스에 열을 동적으로 추가 데이터 관리에서 SQL의 적응성이 중요합니다. 데이터베이스 구조를 즉시 조정해야합니까? Alter Table 문은 솔루션입니다. 이 안내서는 Colu를 추가합니다

소개 두 전문가가 중요한 프로젝트에 대해 협력하는 번화 한 사무실을 상상해보십시오. 비즈니스 분석가는 회사의 목표, 개선 영역을 식별하며 시장 동향과의 전략적 조정을 보장합니다. 시무

Excel 데이터 계산 및 분석 : 카운트 및 카운트 기능에 대한 자세한 설명 정확한 데이터 계산 및 분석은 특히 큰 데이터 세트로 작업 할 때 Excel에서 중요합니다. Excel은이를 달성하기위한 다양한 기능을 제공하며, 카운트 및 카운타 기능은 다른 조건에서 셀 수를 계산하기위한 핵심 도구입니다. 두 기능 모두 셀을 계산하는 데 사용되지만 설계 목표는 다른 데이터 유형을 대상으로합니다. Count 및 Counta 기능의 특정 세부 사항을 파고 고유 한 기능과 차이점을 강조하고 데이터 분석에 적용하는 방법을 배우겠습니다. 핵심 포인트 개요 수를 이해하고 쿠션하십시오

Chrome 's AI Revolution : 개인화되고 효율적인 탐색 경험 인공 지능 (AI)은 우리의 일상 생활을 빠르게 변화시키고 있으며 Chrome은 웹 브라우징 경기장에서 요금을 주도하고 있습니다. 이 기사는 흥분을 탐구합니다

재구성 영향 : 4 배의 결론 너무 오랫동안 대화는 AI의 영향에 대한 좁은 견해로 인해 주로 이익의 결론에 중점을 두었습니다. 그러나보다 전체적인 접근 방식은 BU의 상호 연결성을 인식합니다.

상황이 그 시점을 꾸준히 움직이고 있습니다. 양자 서비스 제공 업체와 신생 기업에 쏟아지는 투자는 업계의 중요성을 이해하고 있음을 보여줍니다. 그리고 점점 더 많은 실제 사용 사례가 그 가치를 보여주기 위해 떠오르고 있습니다.


핫 AI 도구

Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool
무료로 이미지를 벗다

Clothoff.io
AI 옷 제거제

AI Hentai Generator
AI Hentai를 무료로 생성하십시오.

인기 기사

뜨거운 도구

PhpStorm 맥 버전
최신(2018.2.1) 전문 PHP 통합 개발 도구

스튜디오 13.0.1 보내기
강력한 PHP 통합 개발 환경

에디트플러스 중국어 크랙 버전
작은 크기, 구문 강조, 코드 프롬프트 기능을 지원하지 않음

SublimeText3 영어 버전
권장 사항: Win 버전, 코드 프롬프트 지원!

Eclipse용 SAP NetWeaver 서버 어댑터
Eclipse를 SAP NetWeaver 애플리케이션 서버와 통합합니다.
