Genie 2 : 3D 세계의 차세대 기초 모델

Google DeepMind는 최근 Genie 2를 생성 AI 사용의 큰 발전으로 발표했습니다. 이미지 제안만큼 작은 대화식 전체 모델을 디자인 할 수 있다고 생각하십시오. 이것이 바로 Genie 2가 제공하는 것입니다. 이전 버전 인 Genie는 매력적인 2D 공간을 만들 수있는 기회에 놀랐습니다. 이제 Genie 2는 진정한 3D 경험을 제공하여 ANTE를 향상시킵니다. 이러한 시각적으로 풍부하고 매력적인 환경을 통해 키보드 및 마우스와 같은 입력을 사용하여 AI 에이전트와 인간 운영자 모두를 탐색 할 수 있습니다.이를 통해 이러한 환경이 게임, 로봇 공학 및 고급 AI와 같은 연구 영역에서 흥미로운 프론티어를 열 수 있습니다.

이 기사는 Genie에서 Genie 2 로의 전환에 대해 논의하고, 디자인의 세부 사항을 설명하며, 새로운 기능인 새로운 기능을 소개합니다. 또한 프로토콜을 빠르게 전달할 수있는 방법을 살펴보고 부문에서 그 잠재력이 어떻게 혁명되었는지 살펴볼 것입니다.

학습 목표

• 역동적 인 액션 제어 가능한 가상 환경을 생성 할 때 Genie와 Genie 2의 발전을 이해하십시오.
• Genie 2가 텍스트 및 이미지 프롬프트를 활용하여 AI 및 인간 상호 작용을위한 몰입 형 3D 세계를 만드는 방법을 살펴보십시오.
• 자가 회귀 잠재 확산 모델을 포함하여 Genie 2의 아키텍처 및 구성 요소에 대해 알아보십시오.
• 구체화 된 에이전트를위한 게임, 로봇 및 AI 연구에서 Genie 2의 응용 프로그램을 발견하십시오.
• 다양한 환경 생성, 객체 상호 작용 및 실시간 프로토 타이핑과 같은 Genie 2의 출현 능력을 조사하십시오.

목차

• Genie 2는 무엇입니까?
• Genie와 Genie 2의 비교 표
• 기초 세계 모델의 출현 능력 : Genie 2
• Genie 2는 빠른 프로토 타이핑을 가능하게합니다
• 세계 모델 내에서 작동하는 AI 에이전트
• Genie 2의 모델 아키텍처
• 결론
• 자주 묻는 질문

Genie 2는 무엇입니까?

Genie 2는 원래 Genie 모델의 성공을 바탕으로 단일 이미지 프롬프트에서 대화식으로 높은 대화식 3D 액션 제어 가능한 환경을 생성 할 수있는 기초 세계 모델을 도입하여 한 단계 더 발전합니다. 전임자와 달리 Genie 2는 복잡한 3D 가상 세계를 만드는 데 중점을 두어 인간과 AI 에이전트 모두에게 훨씬 풍부하고 몰입 형 경험을 제공합니다. 이를 통해 사용자는 프롬프트 이미지와 같은 간단한 입력을 사용하여 새로운 행동 기반 환경의 무한한 커리큘럼을 탐색 할 수 있습니다.

Genie 2는 역량을 확장하여 전임자 Genie의 성공을 기반으로합니다. Genie는 인터넷 비디오 데이터에서 2D 환경을 생성하는 데 중점을 두었지만 Genie 2는 이제 동적 3D 세계를 생성 할 수 있습니다. 이를 통해 구체화 된 제제의 훈련 및 평가가 가능하며, 키보드 및 마우스와 같은 기본 입력을 사용하여 환경과 상호 작용할 수 있습니다. 이 모델의 확장 성과 역동적 인 세계를 만들 수있는 능력은 게임 디자인에서 로봇 공학에 이르기까지 다양한 응용 프로그램에 이상적입니다. Genie 2의 발전은 AI 연구에서 상당한 돌파구를 나타내며, 이전에 달성 할 수없는 환경에서 에이전트 교육을위한 새로운 가능성을 열어줍니다.

본질적으로, Genie 2는 생성 AI의 주요 도약을 대표하여 이미지 기반 프롬프트와 3D ​​세계 제작을 결합하여 일반 요원의 교육을 향상시켜 실제 응용 프로그램의 AI 발전을위한 다양한 도구입니다.

Genie와 Genie 2의 비교 표

아래 표는 Genie와 Genie 2의 주요 차이점을 강조하여 고유 한 기능에 대한 명확한 이해를 제공합니다.

특징	요정	지니 2
모델 유형	2D 세계 모델	3D 몰입 형 세계 모델
교육 데이터	표지되지 않은 인터넷 비디오	대규모 비디오 데이터 세트
환경 출력	작업 제어 가능한 2D 환경	역동적이고 대화식 3D 환경
입력	텍스트, 합성 이미지, 사진, 스케치	이미지 프롬프트
상호 작용	프레임 별 액션 제어	키보드 및 마우스와의 전체 3D 상호 작용
기능	다양한 환경 창출	객체 상호 작용, 물리 시뮬레이션 및 장기 컨텍스트
응용 프로그램	정적 2D 세계에서 AI 에이전트 교육	게임, 로봇 공학, 다이나믹 3D 세계에서 실시간 AI 교육
확장 성	2D 사용 사례로 제한됩니다	더 넓은 실제 응용 프로그램에 대해 매우 확장 가능합니다
출현 한 기능	비디오 모방에 기초한 행동	복잡한 애니메이션, 반 사실 궤적 및 현실적인 물리학

기초 세계 모델의 출현 능력 : Genie 2

Genie 2는 좁은 영역의 한계를 넘어 세계 모델에서 중요한 진화를 나타냅니다. Genie 2는 다양한 2D 세계를 생성 한 Genie 1의 성공을 바탕으로 큰 도약을합니다. 이제 광범위한 몰입 형 3D 환경을 만들 수 있습니다. 광대 한 비디오 데이터 세트에 대한 교육을받은 Genie 2는 가상 세계와 점프, 수영 등과 같은 행동의 결과를 시뮬레이션합니다.

이전 모델과 달리 Genie 2는 객체 상호 작용, 복잡한 캐릭터 애니메이션, 물리 시뮬레이션 및 에이전트 동작 모델링과 같은 출현 기능을 표시합니다. 이러한 기능을 통해 사용자는 간단한 텍스트 또는 이미지 프롬프트에서 풍부하고 대화식 세계를 만들 수 있습니다. 예를 들어, 사용자는 자신이 구상 한 세계를 설명하고 생성 된 이미지를 선택한 후 새로 생성 된 환경으로 들어가 키보드 및 마우스 입력을 통해 실시간으로 상호 작용할 수 있습니다.

주요 기능

Genie 2의 주요 기능은 다음과 같습니다.

• 액션 제어 : Genie 2는 올바른 개체에 작업을 지능적으로 적용하여 문자 및 환경과의 상호 작용을 향상시킵니다.
• 반반 생성 : 단일 프레임에서 다양한 궤적을 생성하여 에이전트 교육 및 테스트를위한 다양한 동작을 시뮬레이션합니다.
• 긴 수평선 메모리 : Genie 2는 장기적인 상황을 유지하여 에이전트가 역동적 인 환경에서 장시간 기간 동안 계획하고 행동 할 수 있도록합니다.
• 다양한 환경 :이 모델은 실외 조경에서 복잡한 실내 공간에 이르기까지 다양한 요소가있는 다양한 환경을 만듭니다.
• 3D 구조 및 객체 상호 작용 : Genie 2는 복잡한 3D 구조를 시뮬레이션하여 물체 및 환경과의 현실적인 상호 작용을 지원합니다.
• 캐릭터 애니메이션 및 NPC : 캐릭터와 재생할 수없는 캐릭터 (NPC)를 애니메이션으로하여 가상 세계에 생생한 모션과 행동을 추가합니다.
• 물리 시뮬레이션 : Genie 2는 현실적인 물리학, 객체 움직임, 충돌 및 환경 상호 작용을 시뮬레이션합니다.
• 실제 이미지 프롬프트 :이 모델은 실제 이미지를 기반으로 몰입 형 3D 환경을 생성하여 창의적이고 실용적인 응용 프로그램을 촉진합니다.

이러한 기능을 통해 Genie 2는 생성 AI의 경계를 확장 할뿐만 아니라 무한한 다양한 가상 환경에서 일반 요원을 교육하고 평가할 수있는 새로운 가능성을 열어줍니다.

Genie 2는 빠른 프로토 타이핑을 가능하게합니다

Genie 2는 빠른 프로토 타이핑을위한 게임 체인저로 다양한 대화식 환경을 신속하게 실험 할 수 있습니다. 프로세스가 더 빠르고 효율적으로 만드는 방법은 다음과 같습니다.

• 원활한 아바타 생성 : 사용자는 Imagen 3의 이미지로 Genie 2를 자극 할 수 있으며, 아바타 (예 : 종이 비행기, 용, 매 또는 낙하산), 다양한 시나리오에서 역동적 인 행동 및 행동 테스트.
• 복잡한 상호 작용 시뮬레이션 : Genie 2는 다양한 환경 내에서 아바타와 행동이 어떻게 상호 작용하는지 테스트하는 것을 단순화하여 연구자들이 복잡한 행동과 상호 작용을 쉽게 시뮬레이션 할 수 있도록합니다.
• 컨셉 아트에서 대화식 세계에 이르기까지 : 탁월한 분포되지 않은 일반화를 활용하여 Genie 2는 컨셉 아트와 도면을 완전히 대화식 환경으로 바꾸어 창의적 프로세스를 가속화합니다.
• 아티스트와 디자이너를위한 빠른 프로토 타이핑 : 아티스트와 디자이너는 가상 세계를 빠르게 프로토 타입하고 개선하여 환경 디자인에 소요되는 시간을 줄이고 빠른 반복을 가능하게 할 수 있습니다.
• 향상된 AI 교육 : 플랫폼은 테스트 및 시뮬레이션 준비가 된 환경을 제공하여 AI 연구 및 교육 속도를 높이고 동적 AI 모델을 더 빠르게 개발할 수 있습니다.

세계 모델 내에서 작동하는 AI 에이전트

Genie 2를 통해 연구원들은 AI 요원을위한 다양한 환경을 신속하게 만들 수 있습니다. 에이전트는 보이지 않는 새 시나리오에서 작업을 수행 할 수 있습니다. 이 모델은 간단한 프롬프트에서 동적 3D 세계를 생성합니다. 이를 통해 AI 에이전트의 능력을 테스트하고 평가하여 탐색하고 상호 작용할 수 있습니다. 구체화 된 AI 연구의 진보를 지원합니다.

Genie 2의 모델 아키텍처

Genie 2는 대형 비디오 데이터 세트에서 훈련 된 자동 회귀 잠재 확산 모델입니다. 그것은 자동 인코더로 비디오 프레임을 처리하고 결과적인 잠재 프레임을 변압기 역학 모델로 공급합니다. 이 모델은 훈련을 위해 큰 언어 모델과 유사한 인과 적 마스크를 사용합니다.

추론 중에 Genie 2는 단계별 프레임을 단계별로 생성하여 이전 프레임과 동작을 기반으로 다음 프레임을 예측합니다. 분류기가없는 지침은 조치를 통제하는 데 도움이됩니다. 이 게시물의 예제는 구분되지 않은 기본 모델을 사용하여 잠재력을 보여주고 증류 된 버전은 약간의 품질 감소로 실시간 생성을 가능하게합니다.

결론

Genie 2는 대화식 세계와의 프로토 타입 및 실험 방식을 변화시키는 게임 체인저입니다. 컨셉 아트를 기록적인 시간에 역동적이고 완벽하게 기능적인 환경으로 바꿀 수있는 놀라운 능력으로 인해 연구원, 디자이너 및 제작자에게는 끝없는 가능성이 열립니다. AI 훈련과 창의적 개발을 가속화하면서 아바타를 애니메이션하고 복잡한 행동을 쉽게 테스트한다고 상상해보십시오. Genie 2는 프로세스 속도를 높이고 혁신을과 충전하여 가능한 한 경계를 높이는 빠른 반복 및 혁신을 허용합니다. AI 연구와 창의적 실험의 미래는 결코 더 스릴이 아닙니다!

주요 테이크 아웃

• Genie 2는 간단한 이미지 프롬프트에서 동적, 3D 액션 제어 가능한 환경을 만들어 AI를 혁신합니다.
• 이 모델은 풍부한 대화식 및 다양한 가상 설정에서 구현 된 AI 에이전트에 대한 고급 교육을 가능하게합니다.
• Genie 2는 게임, 로봇 공학 및 가상 현실의 응용 분야를위한 확장 가능한 솔루션을 제공합니다.
• 현실적인 경험을위한 물리 시뮬레이션, 복잡한 객체 상호 작용 및 캐릭터 애니메이션을 통합합니다.
• Genie 2는 대화식 세계를 빠르게 생성 할 수있는 능력으로 연구와 창의적 개발을 가속화합니다.

자주 묻는 질문

Q1. Genie 2는 무엇입니까?

A. Google DeepMind가 개발 한 고급 생성 AI 모델입니다. 간단한 이미지 프롬프트에서 동적, 3D 액션 제어 가능한 환경을 만듭니다. Genie 2는 구체화 된 AI 에이전트의 훈련을 향상시키고 AI 및 인간 사용자 모두를위한 몰입 형 대화식 경험을 가능하게하도록 설계되었습니다.

Q2. Genie 2는 전임자 Genie와 어떻게 다릅니 까?

A. 2D 환경을 생성 한 Genie와는 달리 Genie 2는 몰입 형 3D 세계를 구축합니다. 키보드 및 마우스 입력과 같은 표준 컨트롤을 사용하여 이러한 환경 내에서 더 풍부한 상호 작용을 허용하므로 AI 에이전트 및 인간 사용자가 환경을 동적으로 탐색하고 상호 작용할 수 있습니다.

Q3. Genie 2는 어떤 유형의 환경을 생성 할 수 있습니까?

A. Genie 2는 실외 조경, 실내 실 및 복잡한 3D 구조를 포함하여 광범위한 환경을 생성 할 수 있습니다. 이러한 환경은 물리 시뮬레이션, 캐릭터 애니메이션 및 객체 상호 작용과 같은 다양한 요소를 특징으로하여 매우 사실적이고 대화식이 될 수 있습니다.

Q4. Genie 2의 기본 아키텍처는 무엇입니까?

A. Genie 2는 자동 회귀 잠복 확산 모델입니다. Autoencoder를 통해 비디오 프레임을 처리하고 대형 Transformer Dynamics 모델을 사용하여 이전 동작에 의해 안내 된 후속 프레임을 예측합니다. 이 접근법은 프레임 별 현실적인 환경을 생성 할 수 있습니다.

Q5. Genie 2의 어떤 산업이 혜택을받을 수 있습니까?

A. Genie 2는 게임, 로봇 공학, AI 연구 및 가상 현실을 포함한 여러 산업 분야에서 응용 프로그램을 보유하고 있습니다. AI 에이전트를 훈련시키고, 대화식 경험을 만들고, 테스트 및 평가를위한 복잡한 시뮬레이션을 개발하는 데 특히 유용합니다.

위 내용은 Genie 2 : 3D 세계의 차세대 기초 모델의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!