세계의 모델이 빛난다! 20개 이상의 자율주행 시나리오 데이터의 현실감은 놀랍습니다...

지루한 자율주행 영상이라고 생각하시나요?

이 콘텐츠의 원래 의미는 변경할 필요가 없으며 중국어로 다시 작성해야 합니다.

단 한 프레임도 "진짜"가 아닙니다.

다양한 도로 상황, 다양한 기상 조건, 20개 이상의 상황을 시뮬레이션할 수 있으며 효과는 실제와 같습니다.

월드모델이 다시 한 번 강력한 효과를 보여줍니다! 이번에 르쿤이 보고 신나게 전달했어요

위 효과는 GAIA-1 최신 버전에서 가져온 것입니다.

90억 개의 매개변수 규모를 갖고 있으며, 4700시간의 운전 동영상으로 훈련되어 동영상, 텍스트 또는 조작을 입력하여 자율 주행 동영상을 생성하는 효과를 얻습니다.

가장 직접적인 이점은 미래 사건을 더 잘 예측할 수 있다는 것입니다. 20개 이상의 시나리오를 시뮬레이션할 수 있어 자율주행의 안전성은 더욱 향상되고 비용은 절감됩니다

크리에이티브팀은 이것이 자율주행 게임의 규칙을 바꿀 것이라고 말했습니다!

GAIA-1은 어떻게 구현되나요? 실제로 우리는 앞서 자율주행을 위한 생성적 세계 모델인 Wayve 팀이 개발한 GAIA-1을 Autonomous Driving Daily에서 자세히 소개한 적이 있습니다. 이에 관심이 있으시면 공식 계정으로 이동하여 관련 콘텐츠를 읽어보세요!

규모가 클수록 효과도 좋아집니다

GAIA-1은 시각, 청각, 언어 등 다양한 감각 양식을 통합하여 세계의 표현을 이해하고 생성할 수 있는 다중 모드 생성 세계 모델입니다. 이 모델은 딥러닝 알고리즘을 사용하여 수많은 데이터로부터 세상의 구조와 법칙을 학습하고 추론합니다. GAIA-1의 목표는 인간의 인식과 인지 능력을 시뮬레이션하여 세상을 더 잘 이해하고 상호 작용하는 것입니다. 자율주행, 로봇공학, 가상현실 등 다양한 분야에 폭넓게 활용되고 있습니다. 지속적인 훈련과 최적화를 통해 GAIA-1은 지속적으로 진화하고 개선되어 더욱 지능적이고 포괄적인 세계 모델이 될 것입니다.

비디오, 텍스트 및 모션을 입력으로 사용하고 현실적인 운전 장면 비디오를 생성하는 동시에 자율 주행을 가능하게 합니다. 장면 특성은 세밀하게 제어되며

텍스트 프롬프트만으로 동영상을 생성 할 수 있습니다.

모델 원리는 대규모 언어 모델의 원리와 유사합니다. 즉, 다음 토큰을 예측합니다.

모델은 벡터 양자화 표현을 사용하여 개별 비디오 프레임에 사용한 다음 미래 장면을 예측하고 이를 예측으로 변환할 수 있습니다. 시퀀스 토큰의 다음 항목입니다. 그런 다음 확산 모델을 사용하여 세계 모델의 언어 공간에서 고품질 비디오를 생성합니다.

구체적인 단계는 다음과 같습니다.

첫 번째 단계는 이해하기 쉽습니다. 즉, 다양한 입력을 다시 코딩하고 정렬하고 결합하는 것입니다.

다양한 입력을 인코딩하는 특수 인코더를 사용하여 다양한 입력을 공유 표현으로 투영할 수 있습니다. 텍스트 및 비디오 인코더는 입력을 분리하고 포함하는 반면, 작업 표현은 공유 표현으로 개별적으로 투영됩니다.

이러한 인코딩된 표현은 시간적으로 일관됩니다.

순열 후에 핵심 부분인 세계 모델이 무대에 등장합니다.

자동 회귀 변환기로서 시퀀스에서 다음 이미지 토큰 세트를 예측하는 기능이 있습니다. 이전 이미지 토큰을 고려할 뿐만 아니라 텍스트와 동작의 맥락 정보도 동시에 고려합니다

모델이 생성한 콘텐츠는 이미지와의 일관성을 유지할 뿐만 아니라 예측된 텍스트 및 동작과도 일관성을 유지합니다.

팀 소개, GAIA 크기 -1의 세계 모델 중 65억 개의 매개변수는 64개의 A100에 대해 15일 동안 훈련되었습니다.

비디오 디코더와 비디오 확산 모델을 사용하여 이러한 토큰은 최종적으로 비디오로 다시 변환됩니다.

이 단계는 비디오의 의미 품질, 이미지 정확성 및 시간적 일관성에 관한 것입니다.

GAIA-1의 비디오 디코더는 26억 개의 매개변수 규모를 가지며 32개의 A100을 사용하여 15일 동안 훈련되었습니다.

GAIA-1은 원리적으로 대형 언어 모델과 유사할 뿐만 아니라 모델 규모가 커질수록 세대 품질이 향상되는의 특성을 보여준다는 점은 언급할 가치가 있습니다.

팀은 지난 6월에 출시된 초기 버전과 최신 효과를 비교했습니다

후자가 전자보다 480배 더 큽니다.

영상 디테일과 해상도가 대폭 향상되었음을 직관적으로 확인하실 수 있습니다.

실용적인 적용 측면에서도 GAIA-1은 영향을 미쳤습니다. 크리에이티브 팀은 이것이 자율 주행의 규칙을 바꿀 것이라고 말했습니다.

그 이유는 세 가지 측면에서 나옵니다.

• 안전
• 포괄적인 훈련 데이터
• 롱테일 시나리오

우선, 보안 측면에서 월드 모델은 미래를 시뮬레이션하고 AI에게 스스로 판단을 실현하는 능력은 매우 중요합니다. 자율주행의 안전은 매우 중요합니다.

둘째, 훈련 데이터도 자율주행에 매우 중요합니다. 생성된 데이터는 더 안전하고 저렴하며 무한히 확장 가능합니다.

제너레이티브 AI는 자율 주행이 직면한 주요 과제인 롱테일 시나리오를 해결할 수 있습니다. 안개가 낀 날씨에 길을 건너는 보행자를 만나는 등 더 많은 극단적인 경우를 처리할 수 있습니다. 이를 통해 자율주행 성능이 더욱 향상될 것입니다

웨이브는 누구인가요?

GAIA-1은 영국 자율주행 스타트업 Wayve에서 나왔습니다.

Wayve는 2017년에 설립되었습니다. 투자자에는 Microsoftetc.가 포함되어 있으며 그 가치는 Unicorn에 도달했습니다.

창립자는 현재 CEO인 Alex Kendall과 Amar Shah입니다(회사 공식 웹사이트의 리더십 페이지에는 더 이상 정보가 없습니다). 두 사람 모두 케임브리지 대학교를 졸업하고 기계 학습 박사 학위를 취득했습니다.

기술 로드맵에 대해 , Tesla와 마찬가지로 Wayve는 카메라를 사용하는 순수 시각적 솔루션을 옹호하며 고정밀 지도를 아주 일찍 포기하고 "즉각적 인식" 경로를 확고히 따릅니다.

얼마 전 팀이 출시한 또 다른 대형 모델 LINGO-1도 센세이션을 일으켰습니다.

이 자율주행 모델은 운전 중 실시간으로 설명을 생성할 수 있어 모델의 해석력이 더욱 향상됩니다

올해 3월 빌 게이츠도 웨이브의 자율주행차를 시승했습니다.

문서 주소: https://arxiv.org/abs/2309.17080

다시 작성해야 하는 내용은 다음과 같습니다. 원본 링크: https://mp.weixin.qq. com/s/bwTDovx9-UArk5lx5pZPag

위 내용은 세계의 모델이 빛난다! 20개 이상의 자율주행 시나리오 데이터의 현실감은 놀랍습니다...의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!