찾다
기술 주변기기일체 포함한 줄의 텍스트로 3D 얼굴 변화를 구현하세요! UC Berkeley, 단 한 문장으로 블록버스터급 렌더링 완성하는 'Chat-NeRF' 제안

신경 3D 재구성 기술의 발전 덕분에 실제 3D 장면의 특징 표현을 캡처하는 것이 그 어느 때보다 쉬워졌습니다.

그러나 이보다 더 간단하고 효과적인 3D 장면 편집 솔루션은 없었습니다.

최근 UC 버클리 연구진은 이전 작업인 InstructPix2Pix를 기반으로 텍스트 지침을 사용하여 NeRF 장면을 편집하는 방법인 Instruct-NeRF2NeRF를 제안했습니다.

한 줄의 텍스트로 3D 얼굴 변화를 구현하세요! UC Berkeley, 단 한 문장으로 블록버스터급 렌더링 완성하는 Chat-NeRF 제안

논문 주소: https://arxiv.org/abs/2303.12789

Instruct-NeRF2NeRF를 사용하면 단 한 문장으로 대규모의 실제 장면을 편집할 수 있으며, 이전 작품보다 더 현실적이고 목표가 뚜렷합니다.

예를 들어, 수염을 기르고 싶다면 얼굴에 수염 뭉치가 나타날 것입니다!

한 줄의 텍스트로 3D 얼굴 변화를 구현하세요! UC Berkeley, 단 한 문장으로 블록버스터급 렌더링 완성하는 Chat-NeRF 제안

아니면 머리를 바꿔 몇 초 만에 아인슈타인이 되어보세요.

한 줄의 텍스트로 3D 얼굴 변화를 구현하세요! UC Berkeley, 단 한 문장으로 블록버스터급 렌더링 완성하는 Chat-NeRF 제안

또한 모델은 새로운 편집 이미지로 데이터 세트를 지속적으로 업데이트할 수 있으므로 장면의 재구성 효과가 점차 향상됩니다.

NeRF + InstructPix2Pix = Instruct-NeRF2NeRF

구체적으로 인간에게는 입력 이미지가 제공되고 모델에 수행할 작업을 알려주는 서면 지침이 제공되며 모델은 이러한 지침에 따라 이미지를 편집합니다.

구현 단계는 다음과 같습니다.

  1. 훈련 관점에서 장면의 이미지를 렌더링합니다.
  2. InstructPix2Pix 모델을 사용하여 전역 텍스트 지침에 따라 이 이미지를 편집하세요.
  3. 훈련 데이터 세트의 원본 이미지를 편집된 이미지로 바꿉니다.
  4. NeRF 모델은 평소와 같이 훈련을 계속합니다.

한 줄의 텍스트로 3D 얼굴 변화를 구현하세요! UC Berkeley, 단 한 문장으로 블록버스터급 렌더링 완성하는 Chat-NeRF 제안


구현 방법

기존의 3차원 편집과 비교하여 NeRF2NeRF는 새로운 3차원 장면 편집 방법입니다. 가장 큰 특징은 "반복 데이터 세트 업데이트"를 사용한다는 것입니다. 기술.

편집은 3D 장면에서 이루어지지만, 3D 생성 모델을 훈련하는 데 사용되는 데이터가 매우 제한되어 있기 때문에 논문에서는 3D 확산 모델이 아닌 2D를 사용하여 형태 및 모양 사전 추출을 수행합니다.

이 2D 확산 모델은 연구팀이 최근 개발한 InstructPix2Pix로, 명령어 텍스트 기반의 2D 이미지 편집 모델로, 이미지와 텍스트 명령어를 입력하면 편집된 이미지를 출력할 수 있습니다.

그러나 이 2D 모델은 장면의 다양한 각도에서 고르지 않은 변화를 일으킬 수 있습니다. 따라서 "반복적 데이터 세트 업데이트"가 등장했습니다. 이 기술은 NeRF의 "입력 이미지 데이터 세트"를 교대로 수정하고 기본 3D 표현을 업데이트합니다.

이는 텍스트 기반 확산 모델(InstructPix2Pix)이 지침에 따라 새로운 이미지 변형을 생성하고 이러한 새로운 이미지를 NeRF 모델 교육을 위한 입력으로 사용한다는 의미입니다. 따라서 재구성된 3D 장면은 새로운 텍스트 안내 편집을 기반으로 합니다.

초기 반복에서 InstructPix2Pix는 다양한 시야각에서 일관된 편집을 수행하지 못하는 경우가 많았습니다. 그러나 NeRF 재렌더링 및 업데이트 과정에서는 전 세계적으로 일관된 장면으로 수렴됩니다.

요약하자면, NeRF2NeRF 방법은 이미지 콘텐츠를 반복적으로 업데이트하고 이러한 업데이트된 콘텐츠를 3D 장면에 통합하는 동시에 장면의 일관성과 사실성을 유지함으로써 3D 장면의 편집 효율성을 향상시킵니다.

한 줄의 텍스트로 3D 얼굴 변화를 구현하세요! UC Berkeley, 단 한 문장으로 블록버스터급 렌더링 완성하는 Chat-NeRF 제안

UC Berkeley 연구팀의 이번 작업은 이전 InstructPix2Pix의 확장 버전이라고 할 수 있습니다. NeRF와 InstructPix2Pix를 결합하고 "반복적 데이터 세트 업데이트"를 결합하면 원클릭 편집이 계속 가능합니다. 3D 장면!

여전히 한계가 있지만 결함이 숨겨지지는 않습니다

그러나 Instruct-NeRF2NeRF는 이전 InstructPix2Pix를 기반으로 하기 때문에 대규모 공간 작업을 수행할 수 없는 등 후자의 많은 한계를 상속받습니다.

또한 DreamFusion과 마찬가지로 Instruct-NeRF2NeRF는 한 번에 하나의 뷰에서만 확산 모델을 사용할 수 있으므로 유사한 아티팩트 문제가 발생할 수도 있습니다.

아래 그림은 두 가지 유형의 실패 사례를 보여줍니다.

(1) Pix2Pix는 2D에서 편집을 수행할 수 없으므로 NeRF2NeRF도 3D에서 실패합니다.

(2) Pix2Pix 2D 편집이 가능합니다. , 그러나 3D에서는 큰 불일치가 있었기 때문에 NeRF2NeRF도 성공하지 못했습니다.

한 줄의 텍스트로 3D 얼굴 변화를 구현하세요! UC Berkeley, 단 한 문장으로 블록버스터급 렌더링 완성하는 Chat-NeRF 제안

또 다른 예는 아래의 "판다"입니다. 매우 사납게 보일 뿐만 아니라(원형 조각상은 매우 사납습니다), 털 색깔도 약간 이상하고, 눈도 그렇습니다. 화면에서 이동할 때 분명히 "교차"되었습니다.

한 줄의 텍스트로 3D 얼굴 변화를 구현하세요! UC Berkeley, 단 한 문장으로 블록버스터급 렌더링 완성하는 Chat-NeRF 제안

ChatGPT, Diffusion, NeRF가 각광을 받은 만큼, 이 글은 "AI가 한 문장으로 그리기"에서 "AI 편집"으로 발전해 이 세 가지의 장점을 최대한 발휘했다고 할 수 있습니다. 한 문장으로 된 3D 장면" ".

이 방법에는 몇 가지 제한 사항이 있지만 여전히 결함이 있으며 3D 형상 편집을 위한 간단하고 실행 가능한 솔루션을 제공하며 이는 NeRF 개발의 이정표가 될 것으로 예상됩니다.

한 문장으로 3D 장면 편집

마지막으로 작가가 공개한 효과를 살펴보겠습니다.

이 원클릭 PS 3D 장면 편집 아티팩트가 명령 이해 능력과 이미지 현실성 측면에서 기대에 더 부합한다는 것을 보는 것은 어렵지 않습니다. 앞으로 학계의 "새로운 인기"가 될 수 있습니다. ChatGPT에 이어 Chat-NeRF가 생성되었습니다.

한 줄의 텍스트로 3D 얼굴 변화를 구현하세요! UC Berkeley, 단 한 문장으로 블록버스터급 렌더링 완성하는 Chat-NeRF 제안

한 줄의 텍스트로 3D 얼굴 변화를 구현하세요! UC Berkeley, 단 한 문장으로 블록버스터급 렌더링 완성하는 Chat-NeRF 제안

이미지의 환경 배경, 사계절 특성, 날씨를 마음대로 변경하더라도 새로운 이미지는 현실 논리와 완벽하게 일치합니다.

원본 사진:

한 줄의 텍스트로 3D 얼굴 변화를 구현하세요! UC Berkeley, 단 한 문장으로 블록버스터급 렌더링 완성하는 Chat-NeRF 제안

가을:

한 줄의 텍스트로 3D 얼굴 변화를 구현하세요! UC Berkeley, 단 한 문장으로 블록버스터급 렌더링 완성하는 Chat-NeRF 제안


눈오는 날:

사막:

한 줄의 텍스트로 3D 얼굴 변화를 구현하세요! UC Berkeley, 단 한 문장으로 블록버스터급 렌더링 완성하는 Chat-NeRF 제안

폭풍:

한 줄의 텍스트로 3D 얼굴 변화를 구현하세요! UC Berkeley, 단 한 문장으로 블록버스터급 렌더링 완성하는 Chat-NeRF 제안

한 줄의 텍스트로 3D 얼굴 변화를 구현하세요! UC Berkeley, 단 한 문장으로 블록버스터급 렌더링 완성하는 Chat-NeRF 제안

참조: https://www.php.cn/link/ebeb300882677f350ea818c8f333f5b9

위 내용은 한 줄의 텍스트로 3D 얼굴 변화를 구현하세요! UC Berkeley, 단 한 문장으로 블록버스터급 렌더링 완성하는 'Chat-NeRF' 제안의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

성명
이 기사는 51CTO.COM에서 복제됩니다. 침해가 있는 경우 admin@php.cn으로 문의하시기 바랍니다. 삭제
신속한 엔지니어링에서 생각의 그래프는 무엇입니까?신속한 엔지니어링에서 생각의 그래프는 무엇입니까?Apr 13, 2025 am 11:53 AM

소개 신속한 엔지니어링에서 "Thought of Thought"는 그래프 이론을 사용하여 AI의 추론 과정을 구성하고 안내하는 새로운 접근법을 나타냅니다. 종종 선형 S와 관련된 전통적인 방법과 달리

Genai 에이전트와 함께 조직의 이메일 마케팅을 최적화하십시오Genai 에이전트와 함께 조직의 이메일 마케팅을 최적화하십시오Apr 13, 2025 am 11:44 AM

소개 축하해요! 당신은 성공적인 사업을 운영합니다. 웹 페이지, 소셜 미디어 캠페인, 웹 세미나, 컨퍼런스, 무료 리소스 및 기타 소스를 통해 매일 5000 개의 이메일 ID를 수집합니다. 다음 명백한 단계는입니다

Apache Pinot을 사용한 실시간 앱 성능 모니터링Apache Pinot을 사용한 실시간 앱 성능 모니터링Apr 13, 2025 am 11:40 AM

소개 오늘날의 빠르게 진행되는 소프트웨어 개발 환경에서 최적의 애플리케이션 성능이 중요합니다. 응답 시간, 오류율 및 자원 활용과 같은 실시간 메트릭 모니터링 메인이 도움이 될 수 있습니다.

Chatgpt가 10 억 명의 사용자를 쳤습니까? Openai CEO는'몇 주 만에 두 배가되었습니다Chatgpt가 10 억 명의 사용자를 쳤습니까? Openai CEO는'몇 주 만에 두 배가되었습니다Apr 13, 2025 am 11:23 AM

"얼마나 많은 사용자가 있습니까?" 그는 자극했다. Altman은“마지막으로 우리가 마지막으로 말한 것은 매주 5 억 명의 행위자이며 매우 빠르게 성장하고 있다고 생각합니다. 앤더슨은 계속해서“당신은 나에게 몇 주 만에 두 배가되었다고 말했습니다. “저는 그 개인이라고 말했습니다

Pixtral -12B : Mistral AI의 첫 번째 멀티 모드 모델 -Anuctics VidhyaPixtral -12B : Mistral AI의 첫 번째 멀티 모드 모델 -Anuctics VidhyaApr 13, 2025 am 11:20 AM

소개 Mistral은 최초의 멀티 모드 모델, 즉 Pixtral-12B-2409를 발표했습니다. 이 모델은 Mistral의 120 억 개의 매개 변수 인 NEMO 12B를 기반으로합니다. 이 모델을 차별화하는 것은 무엇입니까? 이제 이미지와 Tex를 모두 가져갈 수 있습니다

생성 AI 응용 프로그램을위한 에이전트 프레임 워크 - 분석 Vidhya생성 AI 응용 프로그램을위한 에이전트 프레임 워크 - 분석 VidhyaApr 13, 2025 am 11:13 AM

쿼리에 응답 할뿐만 아니라 자율적으로 정보를 모으고, 작업을 실행하며, 여러 유형의 데이터 (텍스트, 이미지 및 코드를 처리하는 AI 구동 조수가 있다고 상상해보십시오. 미래처럼 들리나요? 이것에서

금융 부문에서 생성 AI의 응용금융 부문에서 생성 AI의 응용Apr 13, 2025 am 11:12 AM

소개 금융 산업은 효율적인 거래 및 신용 가용성을 촉진함으로써 경제 성장을 주도하기 때문에 모든 국가 개발의 초석입니다. 거래가 발생하는 용이성 및 신용

온라인 학습 및 수동 공격 알고리즘 안내온라인 학습 및 수동 공격 알고리즘 안내Apr 13, 2025 am 11:09 AM

소개 소셜 미디어, 금융 거래 및 전자 상거래 플랫폼과 같은 소스에서 전례없는 속도로 데이터가 생성되고 있습니다. 이 지속적인 정보 스트림을 처리하는 것은 어려운 일이지만

See all articles

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

AI Hentai Generator

AI Hentai Generator

AI Hentai를 무료로 생성하십시오.

인기 기사

R.E.P.O. 에너지 결정과 그들이하는 일 (노란색 크리스탈)
3 몇 주 전By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. 최고의 그래픽 설정
3 몇 주 전By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. 아무도들을 수없는 경우 오디오를 수정하는 방법
3 몇 주 전By尊渡假赌尊渡假赌尊渡假赌
WWE 2K25 : Myrise에서 모든 것을 잠금 해제하는 방법
4 몇 주 전By尊渡假赌尊渡假赌尊渡假赌

뜨거운 도구

MinGW - Windows용 미니멀리스트 GNU

MinGW - Windows용 미니멀리스트 GNU

이 프로젝트는 osdn.net/projects/mingw로 마이그레이션되는 중입니다. 계속해서 그곳에서 우리를 팔로우할 수 있습니다. MinGW: GCC(GNU Compiler Collection)의 기본 Windows 포트로, 기본 Windows 애플리케이션을 구축하기 위한 무료 배포 가능 가져오기 라이브러리 및 헤더 파일로 C99 기능을 지원하는 MSVC 런타임에 대한 확장이 포함되어 있습니다. 모든 MinGW 소프트웨어는 64비트 Windows 플랫폼에서 실행될 수 있습니다.

DVWA

DVWA

DVWA(Damn Vulnerable Web App)는 매우 취약한 PHP/MySQL 웹 애플리케이션입니다. 주요 목표는 보안 전문가가 법적 환경에서 자신의 기술과 도구를 테스트하고, 웹 개발자가 웹 응용 프로그램 보안 프로세스를 더 잘 이해할 수 있도록 돕고, 교사/학생이 교실 환경 웹 응용 프로그램에서 가르치고 배울 수 있도록 돕는 것입니다. 보안. DVWA의 목표는 다양한 난이도의 간단하고 간단한 인터페이스를 통해 가장 일반적인 웹 취약점 중 일부를 연습하는 것입니다. 이 소프트웨어는

에디트플러스 중국어 크랙 버전

에디트플러스 중국어 크랙 버전

작은 크기, 구문 강조, 코드 프롬프트 기능을 지원하지 않음

SublimeText3 Linux 새 버전

SublimeText3 Linux 새 버전

SublimeText3 Linux 최신 버전

SublimeText3 중국어 버전

SublimeText3 중국어 버전

중국어 버전, 사용하기 매우 쉽습니다.