최근 Waabi AI, 토론토 대학교, 워털루 대학교 및 MIT의 연구원들은 NeurIPS 2023에서 새로운 자율 주행 조명 시뮬레이션 플랫폼 LightSim을 제안했습니다. 연구진은 누락된 데이터와 모델 이동 손실 문제를 해결하기 위해 실제 데이터로부터 쌍을 이루는 조명 훈련 데이터를 생성하는 방법을 제안했습니다. LightSim은 NeRF(Neural Radiation Fields) 및 물리 기반 딥 네트워크를 사용하여 차량 운전 비디오를 렌더링하고 최초로 대규모 실제 데이터에서 동적 장면의 조명 시뮬레이션을 달성합니다
- 프로젝트 웹사이트: https: //waabi .ai/lightsim
- 문서 링크: https://openreview.net/pdf?id=mcx8IGneYw
자율주행 조명 시뮬레이션이 필요한 이유는 무엇인가요?
로봇공학에서 카메라 시뮬레이션은 매우 중요하며, 특히 자율주행차가 야외 장면을 인식하는 경우 더욱 그렇습니다. 그러나 기존 카메라 인식 시스템은 훈련되지 않은 실외 조명 조건에서는 제대로 작동하지 않습니다. 카메라 시뮬레이션을 사용하여 다양한 실외 조명 변화 데이터 세트를 생성함으로써 자율 주행 시스템의 안정성을 향상시킬 수 있습니다. 일반적인 카메라 시뮬레이션 방법은 일반적으로 물리 엔진을 기반으로 합니다. 3D 모델과 조명 조건을 설정하여 장면을 렌더링하는 방법입니다. 그러나 시뮬레이션 효과는 종종 다양성이 부족하고 충분히 현실적이지 않습니다. 게다가 고품질 3D 모델의 수가 제한되어 있기 때문에 물리적 렌더링 결과가 실제 장면과 정확하게 일치하지 않습니다. 이로 인해 실제 데이터에 대해 훈련된 모델의 일반화 능력이 저하됩니다.
또 다른 방법은 데이터 기반 시뮬레이션 방법을 기반으로 합니다. 이 접근 방식은 신경 렌더링 기술을 사용하여 현실 세계의 디지털 트윈을 재구성하여 센서에서 관찰한 데이터를 복제합니다. 이렇게 하면 더 유연하게 장면을 만들고 현실감을 높일 수 있습니다. 그러나 현재 기술은 장면의 조명 정보를 3D 모델에 내장하므로 조명 조건을 변경하거나 객체를 추가하거나 삭제하는 등 디지털 트윈의 편집이 제한됩니다. 물리 엔진과 신경망을 기반으로 한 조명 시뮬레이션 시스템 LightSim: 도시 장면을 위한 신경 조명 시뮬레이션.
이전 작업과 달리 LightSim은 다음 사항을 동시에 달성할 수 있습니다.
1. : 최초로 대규모 야외 동적 장면의 조명을 시뮬레이션할 수 있으며, 그림자, 객체 간 조명 효과 등을 보다 정확하게 시뮬레이션할 수 있습니다.
2.
제어 가능: 동적 운전 장면 편집(객체 추가, 삭제, 카메라 위치 및 매개변수, 조명 변경, 안전에 중요한 장면 생성 등)을 지원하여 보다 현실적이고 일관된 비디오를 생성합니다. 조명 및 가장자리 조건에 대한 시스템의 견고성. 3.
확장 가능: 더 많은 시나리오와 다양한 데이터 세트로 쉽게 확장할 수 있습니다. 데이터를 한 번만 수집하면(단일 패스) 실제적이고 제어 가능한 시뮬레이션 테스트를 재구성하고 수행할 수 있습니다.
시뮬레이션 시스템 구축
1단계: 실제 재조명 디지털 트윈 구축
디지털 세계의 자율 주행 장면을 재현하려면 먼저 LightSim이 필요합니다. 수집된 데이터는 동적 객체와 정적 장면으로 구분됩니다. 이 단계에서는 UniSim을 사용하여 장면을 재구성하고 네트워크에서 카메라 뷰 종속성을 제거합니다. 그런 다음 행진 큐브를 사용하여 형상을 얻은 다음 기본 재료가 포함된 메시로 추가 변환합니다. 재료 및 기하학 외에도 LightSim은 야외 주간 장면의 주요 광원인 태양과 하늘을 기반으로 실외 조명을 추정하고 높은 동적 범위 환경 맵(HDR 스카이 돔)을 얻을 수도 있습니다. LightSim은 센서 데이터와 추출된 형상을 사용하여 불완전한 파노라마 이미지를 추정한 다음 이를 완성하여 하늘의 전체 360° 뷰를 얻을 수 있습니다. 그런 다음 이 파노라마 이미지와 GPS 정보를 사용하여 태양 강도, 태양 방향 및 하늘 모양을 정확하게 추정하는 HDR 환경 지도를 생성합니다. 요약: 두 번째 단계는 동적 도시 장면의 신경 조명 시뮬레이션을 수행하는 것입니다. 디지털 트윈을 얻은 후 추가 또는 제거 등 추가로 수정할 수 있습니다. 증강 현실 표현을 생성하기 위해 객체, 차량 궤적 변경, 조명 변경 등을 수행합니다. LightSim은 물리적 기반 렌더링을 수행하여 기본 색상, 깊이, 법선 벡터 및 그림자와 같은 장면 수정을 위한 조명 관련 데이터를 생성합니다. 이 조명 관련 데이터와 장면의 소스 및 대상 조명 조건에 대한 추정을 사용하여 LightSim 워크플로는 다음과 같습니다. 물리 기반 렌더링 이미지는 형상의 불완전성과 재료/조명 분해의 오류로 인해 장면의 조명 효과를 재구성하는 데 적합하지만 렌더링 결과는 흐림, 비현실적인 표면 반사와 같은 사실성이 부족한 경우가 많습니다. 그리고 경계 인공물. 따라서 연구자들은 현실감 향상을 위해 신경 지연 렌더링을 제안합니다. 그들은 미리 계산된 버퍼의 소스 이미지와 렌더링 엔진에서 생성된 조명 관련 데이터를 사용하여 최종 이미지를 생성하는 이미지 합성 네트워크를 도입했습니다. 동시에, 논문의 방법은 조명 상황을 향상시키기 위한 환경 맵을 네트워크에 제공하고 디지털 트윈을 통해 쌍을 이루는 이미지를 생성하여 새로운 쌍별 시뮬레이션 및 실제 데이터 훈련 방식을 제공합니다 장면 조명 변경(장면 재조명) LightSim은 새로운 조명 조건에서 시간 일관성 있는 방식으로 동일한 장면을 렌더링할 수 있습니다. 영상에서 볼 수 있듯이, 새로운 태양 위치와 하늘의 모습은 장면의 그림자와 모습을 변화시킵니다. LightSim은 자동으로 장면을 일괄 재조명할 수 있습니다. 원본 장면과 동일한 추정 및 실제 HDR 환경 맵에서 새로운 시간 일관성을 갖춘 3D 인식 조명 변경을 생성할 수 있습니다. 표현은 편집 가능하고 태양의 방향을 변경할 수 있으므로 조명 변경 및 그림자 관련 업데이트가 가능합니다. 태양 빛의 방향으로. HDR 환경 맵을 회전하고 이를 신경 지연 렌더링 모듈에 전달함으로써 LightSim은 다음 비디오를 생성합니다. LightSim은 그림자의 일괄 편집도 지원합니다. 조명 인식 문자 삽입 In 조명 수정 외에도 LightSim은 건축 장애물과 같은 흔하지 않은 개체에 조명 인식 추가 기능을 수행할 수도 있습니다. 이렇게 추가된 개체는 개체의 조명 그림자를 업데이트하고 개체를 정확하게 가리며 전체 카메라 구성에 공간적으로 적응할 수 있습니다. 시뮬레이션 전송(nuScene으로 일반화) LightSim의 신경 지연 렌더링 네트워크는 여러 운전 비디오에 대해 훈련되었기 때문에 LightSim은 새로운 장면에 일반화될 수 있습니다. 다음 비디오는 nuScenes의 운전 장면에 대한 LightSim의 일반화 기능을 보여줍니다. LightSim은 각 장면의 조명 인식 디지털 트윈을 구축한 다음 PandaSet에서 사전 훈련된 신경 지연 렌더링 모델에 적용할 수 있습니다. LightSim은 우수한 마이그레이션 성능을 갖추고 있으며 장면 재조명을 위한 보다 강력한 솔루션을 제공할 수 있습니다 실제 및 제어 가능한 카메라 시뮬레이션위에 표시된 모든 기능을 기반으로 LightSim은 제어 가능하고 다양하며 현실적인 카메라 시뮬레이션을 달성합니다. 다음 비디오는 LightSim의 장면 시뮬레이션 기능을 보여줍니다. 영상에서 흰색 차량은 SDV 차선으로 긴급 차선 변경을 하여 새로운 장애물을 도입했으며 이로 인해 흰색 차량은 완전히 새로운 장면으로 진입하게 되었습니다. 새로운 장면의 다양한 조명 조건에서 LightSim이 생성한 효과는 다음과 같습니다. : . 아래 동영상에서는 새로운 예를 보여줍니다. 기존 도로 장애물에 새로운 장애물이 삽입되고 새로운 차량 세트가 추가되었습니다. 시뮬레이션된 조명에 LightSim을 사용하면 새로 추가된 차량을 장면에 완벽하게 통합할 수 있습니다 LightSim은 대규모 동적 운전 장면을 처리하기 위한 서비스를 제공하는 조명 인식 카메라 시뮬레이션 플랫폼입니다. 실제 데이터를 기반으로 조명 인식 디지털 트윈을 구축하고 이를 수정하여 다양한 객체 레이아웃과 자율주행차 관점을 갖춘 새로운 장면을 만들 수 있습니다. LightSim은 새로운 조명 조건을 시뮬레이션할 수 있어 다양하고 사실적이며 제어 가능한 카메라 시뮬레이션을 통해 시간적/공간적으로 일관된 비디오를 생성할 수 있습니다. LightSim을 역방향 렌더링, 날씨 시뮬레이션 및 기타 기술과 결합하여 시뮬레이션 성능을 더욱 향상시킬 수도 있다는 점은 주목할 가치가 있습니다시뮬레이션 기능 시연
요약 및 전망
위 내용은 현실적이고 제어 가능하며 확장 가능한 자율 주행 조명 시뮬레이션 플랫폼 LightSim이 새롭게 출시되었습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

내 칼럼을 처음 접할 수있는 분들을 위해, 나는 구체화 된 AI, AI 추론, AI의 첨단 획기적인 혁신, AI 교육, AI의 수비, ai re

유럽의 야심 찬 AI 대륙 행동 계획은 EU를 인공 지능의 글로벌 리더로 설립하는 것을 목표로합니다. 핵심 요소는 AI Gigafactories 네트워크를 만드는 것입니다. 각각 약 100,000 개의 고급 AI 칩을 보유하고 있습니다 - Capaci의 4 배

AI 에이전트 애플리케이션에 대한 Microsoft의 통합 접근 방식 : 비즈니스를위한 명확한 승리 새로운 AI 에이전트 기능에 관한 Microsoft의 최근 발표는 명확하고 통합 된 프레젠테이션에 깊은 인상을 받았습니다. 많은 기술 발표와는 달리 TE에서 멍청한 것입니다

Shopify CEO Tobi Lütke의 최근 메모는 AI 숙련도가 모든 직원에 대한 근본적인 기대를 대담하게 선언하여 회사 내에서 중요한 문화적 변화를 표시합니다. 이것은 도망가는 트렌드가 아닙니다. 그것은 p에 통합 된 새로운 운영 패러다임입니다

IBM의 Z17 메인 프레임 : 향상된 비즈니스 운영을 위해 AI를 통합합니다 지난 달, IBM의 뉴욕 본사에서 Z17의 기능을 미리 보았습니다. Z16의 성공을 기반으로 (2022 년에 시작되어 지속적인 수익을 보여주는 시연

흔들리지 않는 자신감을 해제하고 외부 검증의 필요성을 제거하십시오! 이 다섯 개의 chatgpt 프롬프트는 완전한 자립과 자기 인식의 변형적인 변화로 당신을 안내 할 것입니다. 간단히 괄호를 복사, 붙여 넣기 및 사용자 정의하십시오

인공 지능 보안 및 연구 회사 인 Anthropic의 최근 [연구]는 이러한 복잡한 과정에 대한 진실을 밝히기 시작하여 우리 자신의인지 영역과 방해가되는 복잡성을 보여줍니다. 자연 지능과 인공 지능은 우리가 생각하는 것보다 더 유사 할 수 있습니다. 내부 스누핑 : 의인성 해석 가능성 연구 Anthropic이 수행 한 연구에서 얻은 새로운 연구 결과는 AI의 내부 컴퓨팅을 역 엔지니어링하는 것을 목표로하는 기계적 해석 성 분야에서 상당한 발전을 나타냅니다. AI가하는 일을 관찰 할뿐만 아니라 인공 뉴런 수준에서 어떻게 수행하는지 이해합니다. 누군가가 특정한 대상을 보거나 특정한 아이디어에 대해 생각할 때 어떤 뉴런이 발사하는지 그림으로 뇌를 이해하려고한다고 상상해보십시오. 에이

Qualcomm 's Dragonwing : 기업 및 인프라로의 전략적 도약 Qualcomm은 새로운 Dragonwing 브랜드를 통해 전 세계적으로 엔터프라이즈 및 인프라 시장을 대상으로 모바일을 넘어 범위를 적극적으로 확장하고 있습니다. 이것은 단지 Rebran이 아닙니다


핫 AI 도구

Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool
무료로 이미지를 벗다

Clothoff.io
AI 옷 제거제

AI Hentai Generator
AI Hentai를 무료로 생성하십시오.

인기 기사

뜨거운 도구

VSCode Windows 64비트 다운로드
Microsoft에서 출시한 강력한 무료 IDE 편집기

SublimeText3 Mac 버전
신 수준의 코드 편집 소프트웨어(SublimeText3)

SecList
SecLists는 최고의 보안 테스터의 동반자입니다. 보안 평가 시 자주 사용되는 다양한 유형의 목록을 한 곳에 모아 놓은 것입니다. SecLists는 보안 테스터에게 필요할 수 있는 모든 목록을 편리하게 제공하여 보안 테스트를 더욱 효율적이고 생산적으로 만드는 데 도움이 됩니다. 목록 유형에는 사용자 이름, 비밀번호, URL, 퍼징 페이로드, 민감한 데이터 패턴, 웹 셸 등이 포함됩니다. 테스터는 이 저장소를 새로운 테스트 시스템으로 간단히 가져올 수 있으며 필요한 모든 유형의 목록에 액세스할 수 있습니다.

SublimeText3 영어 버전
권장 사항: Win 버전, 코드 프롬프트 지원!

드림위버 CS6
시각적 웹 개발 도구

뜨거운 주제



