신분증 사진을 디지털 인물로 변환하는 데 몇 초 밖에 걸리지 않습니다. Microsoft는 최초의 고품질 3D 확산 모델을 달성했으며 단 한 문장으로 외모와 외모를 변경할 수 있습니다.
- 青灯夜游앞으로
- 2023-03-31 22:40:411236검색
이 3D 생성 확산 모델 "로댕"의 이름은 프랑스 조각가 오귀스트 로댕에게서 영감을 받았습니다.
2D 신분증 사진으로 단 몇 초 만에 3D 게임 아바타를 디자인할 수 있습니다!
3D 분야 확산모델의 최신 성과입니다. 예를 들어, 프랑스 조각가 로댕의 오래된 사진만으로도 몇 분 만에 그를 게임으로 "변형"시킬 수 있습니다.
ΔRODIN 모델은 로댕의 오래된 사진을 기반으로 생성된 3D 이미지입니다
한 문장만 있으면 됩니다. 외모와 이미지를 수정할 수 있습니다. AI가 만든 로댕에게 "빨간 스웨터에 안경을 쓴 것 같아요"라고 말해보세요.
커다랗게 넘긴 뒷머리가 마음에 들지 않나요? 그런 다음 "땋은 머리 모양"으로 변경하세요.
머리 색깔을 다시 바꿔 볼까요? 이것은 "갈색 머리의 패셔너블한 트렌디인"입니다. 수염 색깔도 고정되어 있습니다.
(AI의 눈에 "패셔너블한 트렌디인"은 실제로는 약간 너무 트렌디한 것입니다)
최신 3D 생성 확산 모델 Microsoft Research Asia의 "Rodin" RODIN(Roll-out Diffusion Network) 위에 있습니다.
RODIN은 생성 확산 모델을 사용하여 3D 훈련 데이터에서 3D 디지털 아바타(Avatar)를 자동으로 생성하는 최초의 모델이기도 합니다. 이 논문은 CVPR 2023에 승인되었습니다.
한번 살펴보겠습니다.
3D 데이터로 확산 모델을 직접 훈련시키세요
이 3D 생성 확산 모델 "로댕"의 이름은 프랑스 조각가 오귀스트 로댕에게서 영감을 받았습니다.
이전에는 일반적으로 생성적 적대 신경망(GAN) 또는 변형 자동 인코더(VAE)를 2D 데이터로 훈련하여 2D로 생성된 3D 이미지 모델을 얻었지만 결과가 만족스럽지 못한 경우가 많았습니다.
연구원들은 이러한 현상이 발생하는 이유는 이러한 방법에 기본적인 과소결정(잘못된) 문제가 있기 때문이라고 분석했습니다. 즉, 단시점 이미지의 기하학적 모호성으로 인해 대량의 2D 데이터만으로는 고품질의 3D 아바타의 합리적인 분포를 학습하기 어려워 생성 결과가 좋지 않습니다.
그래서 이번에는 3D 데이터를 직접 사용하여 확산 모델을 훈련하려고 시도했는데, 이는 주로 세 가지 문제를 해결했습니다.
- 첫 번째, 확산 모델을 사용하여 3D 모델의 다중 뷰 이미지를 생성하는 방법입니다. 이전에는 3D 데이터에 대한 확산 모델에 대해 따라야 할 실질적인 방법과 선례가 없었습니다.
- 둘째, 고품질, 대용량 3D 이미지 데이터 세트를 얻기 어렵고 개인 정보 보호 및 저작권 위험이 있지만 인터넷에 게시된 3D 이미지에 대해서는 멀티뷰 일관성을 보장할 수 없습니다.
- 마지막으로 2D 확산 모델은 3D 생성으로 직접 확장되며 이는 막대한 메모리, 저장 및 컴퓨팅 오버헤드를 필요로 합니다.
이 세 가지 문제를 해결하기 위해 연구진은 기존 모델의 SOTA 수준을 뛰어 넘는 'AI Sculptor' RODIN 확산 모델을 제안했습니다.
RODIN 모델은 NeRF(신경 방사선 장) 방식을 사용하고 NVIDIA의 EG3D 작업을 활용하여 3D 공간을 공간 내 상호 수직인 3개의 특징 평면(Triplanes)으로 콤팩트하게 표현하고 이러한 맵을 단일 2D 특징 평면으로 확장합니다. 그런 다음 3D 감지 확산을 수행합니다.
구체적으로는 수평, 수직, 수직 평면의 3가지 직교 평면 뷰에 2차원 특징을 추가하여 3D 공간을 확장하는 것입니다. 이를 통해 RODIN 모델은 3D 인식 확산을 위해 효율적인 2D 아키텍처를 사용할 수 있을 뿐만 아니라 3D 이미지는 또한 계산 복잡성과 비용을 크게 줄여줍니다.
Δ3D 지각 컨볼루션은 3D 특징을 효율적으로 처리합니다
위 그림의 왼쪽에는 3차원 공간을 표현하기 위해 삼면이 사용됩니다. 이때 하단 특징 평면의 특징점은 두 가지에 해당합니다. 다른 두 특징 평면의 라인 위 그림의 오른쪽에는 세 평면의 3차원 고유 대응을 고려하면서 확장된 2D 특징 평면을 처리하기 위해 3D 지각 컨볼루션이 도입되었습니다.
특히 3D 이미지 생성을 위해서는 세 가지 핵심 요소가 필요합니다.
첫째, 3D 인식 컨볼루션은 차원 축소 후 세 평면의 본질적인 상관 관계를 보장합니다.
기존 2D 확산에 사용되는 2D 컨벌루션 신경망(CNN)은 Triplane 특징 맵을 잘 처리하지 못합니다.
3D 인식 컨볼루션은 단순히 세 개의 2D 형상 평면을 생성하는 것이 아니라 이러한 3D 표현을 처리할 때 고유한 3차원 특성을 고려합니다. 즉, 세 뷰 평면 중 하나의 2D 특징은 본질적으로 3D 공간입니다. 따라서 평면의 선은 다른 두 평면의 해당 직선 투영 특징과 관련됩니다.
교차 평면 통신을 달성하기 위해 연구자들은 컨볼루션에서 이러한 3D 상관 관계를 고려하여 2D에서 3D 세부 사항을 효율적으로 합성합니다.
두 번째, 숨겨진 공간 협주곡 3면 3D 표현의 세대.
연구원들은 잠재 벡터를 통해 특징 생성을 조정하여 전체 3차원 공간에서 전역적으로 일관성을 유지함으로써 고품질 아바타와 의미 편집을 구현합니다.
동시에 훈련 데이터 세트의 이미지를 사용하여 추가 이미지 인코더도 훈련됩니다. 이는 의미론적 잠재 벡터를 확산 모델에 대한 조건부 입력으로 추출할 수 있습니다.
이런 식으로 확산 모델을 디코딩 잠재 공간 벡터로 사용하여 전체 생성 네트워크를 자동 인코더로 간주할 수 있습니다. 의미론적 편집 가능성을 위해 연구원들은 텍스트 프롬프트와 잠재 공간을 공유하는 고정된 CLIP 이미지 인코더를 채택했습니다.
세 번째, 계층적 합성은 충실도가 높은 3차원 디테일을 생성합니다.
연구원들은 확산 모델을 사용하여 먼저 저해상도 3개 뷰 평면(64×64)을 생성한 후 확산 업샘플링을 통해 고해상도 3개 뷰 평면(256×256)을 생성했습니다.
이와 같이 기본 확산 모델은 전반적인 3D 구조 생성에 초점을 맞추고 후속 업샘플링 모델은 세부 사항 생성에 중점을 둡니다.
Blender를 기반으로 대량의 랜덤 데이터 생성
훈련 데이터 세트에서 연구원들은 오픈 소스 3D 렌더링 소프트웨어 Blender를 사용하여 아티스트가 수동으로 생성한 가상 3D 캐릭터 이미지와 다수의 머리카락을 무작위로 결합했습니다. 옷, 표정, 액세서리 등을 무작위로 샘플링한 후 10만 명의 합성 개인을 생성하고, 개인별로 256*256 해상도의 멀티뷰 이미지 300장을 렌더링합니다.
3D 아바타에 대한 텍스트 생성에서 연구원들은 LAION-400M 데이터 세트의 초상화 하위 집합을 사용하여 입력 양식에서 3D 확산 모델의 잠재 공간으로의 매핑을 훈련하고 마지막으로 RODIN 모델이 사용하도록 허용했습니다. 2D 이미지 하나만 또는 텍스트 설명 하나만으로 실감나는 3D 아바타를 만들 수 있습니다.
Δ아바타 생성을 위한 사진이 주어지면
, "검은색 가죽 자켓을 입은 곱슬머리에 수염을 기른 남자"와 같은 한 문장으로 이미지만 바꿀 수는 없습니다:
원하는 대로 성별을 변경할 수도 있습니다. "빨간 옷과 아프리카 머리 스타일을 가진 여성": (수동 개 머리)
연구원들은 또한 몇 개의 버튼만 누르면 자신만의 이미지를 만들 수 있는 애플리케이션 데모 시연을 제공했습니다.
3D 반신 인물 사진에 중점을 두고 있는데, 이는 훈련을 위해 주로 얼굴 데이터를 사용한다는 사실과도 관련이 있지만 3D 이미지 생성에 대한 수요는 그렇지 않습니다. 인간의 얼굴로 제한됩니다.
다음 단계에서 팀은 "하나의 모델로 모든 것을 3D로 생성"이라는 궁극적인 목표를 달성하기 위해 RODIN 모델을 사용하여 꽃, 나무, 건물, 자동차, 집 등 더 많은 3D 장면을 만드는 것을 고려할 것입니다. . 논문 주소:https://arxiv.org/abs/2212.06135
https://3d-avatar-diffusion.microsoft.com
위 내용은 신분증 사진을 디지털 인물로 변환하는 데 몇 초 밖에 걸리지 않습니다. Microsoft는 최초의 고품질 3D 확산 모델을 달성했으며 단 한 문장으로 외모와 외모를 변경할 수 있습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!