LimSim++: 자율 주행의 다중 모드 대형 모델을 위한 새로운 단계

논문 이름: LimSim++: 자율 주행에서 다중 모달 LLM 배포를 위한 폐쇄 루프 플랫폼

프로젝트 홈페이지: https://pjlab-adg.github.io/limsim_plus/

시뮬레이터 소개

Multimodal Large Language Model((M)LLM)이 인공지능 분야에 연구 붐을 일으키면서 자율주행 기술에의 적용이 점차 주목받고 있습니다. 이러한 모델은 강력한 일반화된 이해와 논리적 추론 능력을 통해 안전하고 신뢰할 수 있는 자율 주행 시스템을 구축하는 데 강력한 지원을 제공합니다. 자율 주행에서 LLM의 성능을 검증할 수 있는 HighwayEnv, CARLA 및 NuPlan과 같은 기존 폐쇄 루프 시뮬레이션 플랫폼이 있지만 일반적으로 사용자는 이러한 플랫폼을 스스로 적응해야 하며, 이는 사용 임계값을 높일 뿐만 아니라 LLM 기능에 대한 심층 탐구.

이 과제를 극복하기 위해 상하이 인공 지능 연구소의 지능형 교통 플랫폼 그룹은 (M)LLM을 위해 특별히 설계된 자율 주행 폐쇄 루프 시뮬레이션 플랫폼 **LimSim++**을 출시했습니다. LimSim++의 출시는 자율주행 분야의 연구자들에게 자율주행 기술 분야에서 LLM의 잠재력을 포괄적으로 탐색할 수 있는 보다 적합한 환경을 제공하는 것을 목표로 합니다. 플랫폼은 SUMO, CARLA 등의 시뮬레이션 환경에서 장면 정보를 추출하고 처리하여 이미지 정보, 장면 인식, 작업 설명 등 LLM에 필요한 다양한 입력 형식으로 변환할 수 있습니다. 또한 LimSim++에는 모션 프리미티브 변환 기능도 있어 폐쇄 루프 시뮬레이션을 달성하기 위한 LLM의 결정을 기반으로 적절한 주행 궤적을 신속하게 생성할 수 있습니다. 더 중요한 것은 LimSim++가 LLM을 위한 지속적인 학습 환경을 조성하여 LLM이 지속적으로 운전 전략을 최적화하고 결정 결과를 평가하고 피드백을 제공함으로써 운전자 에이전트의 운전 성능을 향상시키는 데 도움이 된다는 것입니다.

시뮬레이터 기능

LimSim++은 자율 주행 시뮬레이션 분야에서 중요한 기능을 갖추고 있어 (M)LLM 기반 운전자 에이전트에 이상적인 폐쇄 루프 시뮬레이션과 지속적인 학습 환경을 제공합니다.

• LimSim++는 교차로, 경사로, 로터리 등 다양한 운전 시나리오의 시뮬레이션을 지원하여 Driver Agent가 다양하고 복잡한 도로 조건에서 어려움을 받아들일 수 있도록 보장합니다. 이러한 다양한 장면 설정은 LLM이 더욱 풍부한 운전 경험을 얻고 실제 환경에서의 적응성을 향상시키는 데 도움이 됩니다.
• LimSim++는 여러 모달 입력이 있는 대규모 언어 모델을 지원합니다. LimSim++는 규칙 기반 장면 정보 생성을 제공할 뿐만 아니라 CARLA와 공동으로 디버깅하여 자율 주행에서 (M)LLM의 시각적 인식 요구 사항을 충족하는 풍부한 시각적 입력을 제공할 수 있습니다.
• LimSim++은 지속적인 학습 능력에 중점을 둡니다. LimSim++는 평가, 반영, 메모리 등의 모듈을 통합하여 (M)LLM이 시뮬레이션 프로세스 중에 지속적으로 경험을 축적하고 의사결정 전략을 최적화할 수 있도록 지원합니다.

나만의 드라이버 에이전트 만들기

LimSim++는 드라이버 에이전트의 사용자 정의 요구 사항을 충족하고 LimSim++ 개발의 유연성을 향상시키며 사용 임계값을 낮출 수 있는 풍부한 인터페이스를 사용자에게 제공합니다.

1. 프롬프트 구성

• LimSim++는 역할 설정, 작업 요구 사항, 장면 설명 및 기타 정보를 포함하여 (M)LLM에 입력되는 텍스트 정보를 변경하는 사용자 정의 프롬프트를 지원합니다.
• LimSim++는 json 형식을 기반으로 한 장면 설명 템플릿을 제공하므로 사용자는 정보 추출의 특정 구현을 고려하지 않고도 제로 코드로 프롬프트를 수정할 수 있습니다.

2. 결정 평가 모듈

• LimSim++은 (M)LLM 결정 결과를 평가하기 위한 기준을 제공합니다. 사용자는 가중치 매개변수를 변경하여 평가 기본 설정을 조정할 수 있습니다.

3. 프레임워크의 유연성

• LimSim++는 사용자가 인식 도구, 수치 처리 도구 등과 같은 (M)LLM용 맞춤형 도구 라이브러리를 추가할 수 있도록 지원합니다.

Get Get get get get reconge restep 0 : install sumo (버전 ≥v1.15.0, ubuntu)

• sudo add-apt-repository ppa:sumo/stablesudo apt-get updatesudo apt-get install sumo sumo-tools sumo-doc

step 1

: limsim ++ 소스 코드 압축 패키지, unzip 및 switch를 다운로드하십시오. 올바른 브랜치로

• git clone https://github.com/PJLab-ADG/LimSim.gitgit checkout -b LimSim_plus

2단계:

종속성 설치(conda 필요)

• cd LimSimconda env create -f environment.yml

3단계:

시뮬레이션 실행
• 시뮬레이션만 실행

rreee

• 자율 주행을 위해 LLM 사용하기

python ExampleModel.py

• 자율 주행을 위해 VLM 사용하기

export OPENAI_API_KEY='your openai key'python ExampleLLMAgentCloseLoop.py

• 자세한 내용은 LimSim++의 github: https://github.com/PJLab-ADG/LimSim/tree를 확인하세요. /LimSim_plus, 기타 문의사항이 있으시면 GitHub 이슈에 올려주시거나 이메일로 직접 문의해주세요!

LimSim++을 공동으로 개발하고 오픈소스 생태계를 구축하는 학계와 업계의 파트너를 환영합니다!

위 내용은 LimSim++: 자율 주행의 다중 모드 대형 모델을 위한 새로운 단계의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!