찾다
기술 주변기기일체 포함ViP3D: 3D 에이전트 쿼리를 통한 엔드투엔드 시각적 궤적 예측

arXiv 논문 "ViP3D: 3D 에이전트 쿼리를 통한 엔드 투 엔드 시각적 궤적 예측", 8월 22일 업로드, Tsinghua University, Shanghai (Yao) Qizhi Research Institute, CMU, Fudan, Li Auto 및 MIT가 공동 제작, 등등. 일.

ViP3D: 3D 에이전트 쿼리를 통한 엔드투엔드 시각적 궤적 예측

기존 자율주행 파이프라인은 인식 모듈과 예측 모듈을 분리합니다. 두 모듈은 에이전트 상자 및 궤적과 같은 수동으로 선택한 기능을 인터페이스로 통해 통신합니다. 이러한 분리로 인해 예측 모듈은 인식 모듈로부터 부분적인 정보만 받습니다. 더 나쁜 것은 인식 모듈의 오류가 전파되고 축적되어 예측 결과에 부정적인 영향을 미칠 수 있다는 것입니다.

이 작품은 원본 영상의 풍부한 정보를 활용해 장면 속 에이전트의 미래 궤적을 예측하는 시각적 궤적 예측 파이프라인인 ViP3D를 제안합니다. ViP3D는 파이프라인 전체에 걸쳐 희소 에이전트 쿼리를 사용하므로 이를 완전히 차별화하고 해석할 수 있습니다. 또한, 인식 및 예측 정확도를 종합적으로 고려한 엔드투엔드 시각적 궤적 예측 작업에 대한 새로운 평가 지표인 End-to-end Prediction Accuracy(EPA, End-to-end Prediction Accuracy)을 제안합니다. 예측 정확도를 향상시키면서 궤적은 실제 궤적을 기준으로 점수가 매겨집니다.

그림은 기존 다단계 캐스케이드 파이프라인과 ViP3D의 비교를 보여줍니다. 기존 파이프라인에는 감지, 추적 및 예측과 같은 여러 개의 미분 불가능한 모듈이 포함됩니다. 차량 방향 지시등과 같은 시각 정보를 효과적으로 활용합니다.

ViP3D: 3D 에이전트 쿼리를 통한 엔드투엔드 시각적 궤적 예측

ViP3D는 원본 영상의 궤적 예측 문제를 end-to-end 방식으로 해결하는 것을 목표로 합니다. 특히 ViP3D는 다중 뷰 비디오와 고화질 지도를 통해 장면에 있는 모든 에이전트의 미래 궤적을 예측합니다.

ViP3D의 전체 프로세스는 그림에 나와 있습니다. 먼저 쿼리 기반 추적기는 주변 카메라의 다중 뷰 비디오를 처리하여 시각적 특징을 갖춘 추적된 에이전트의 쿼리를 얻습니다. 에이전트 쿼리의 시각적 기능은 에이전트의 움직임 역학과 시각적 특성은 물론 에이전트 간의 관계를 캡처합니다. 그 후, 궤도 예측기는 추적 에이전트의 쿼리를 입력으로 받아 HD 지도 기능과 연결하고 최종적으로 예측된 ​​궤도를 출력합니다.

ViP3D: 3D 에이전트 쿼리를 통한 엔드투엔드 시각적 궤적 예측

쿼리 기반 추적기는 서라운드 카메라의 원본 비디오에서 시각적 특징을 추출합니다. 구체적으로 각 프레임별로 DETR3D에 따라 이미지 특징을 추출합니다. 시간 도메인 특징 집계의 경우 쿼리 기반 추적기는 두 가지 주요 단계인 쿼리 기능 업데이트 및 쿼리 감독. 에이전트 쿼리는 에이전트의 움직임 역학을 모델링하기 위해 시간이 지남에 따라 업데이트됩니다. 대부분의 기존 궤적 예측 방법은 에이전트 인코딩, 맵 인코딩 및 궤적 디코딩의 세 부분으로 나눌 수 있습니다. 질의 기반 추적 후에는 추적된 에이전트의 질의를 획득하는데, 이는 에이전트 인코딩을 통해 획득한 에이전트 특성이라 할 수 있다. 따라서 남은 작업은 맵 인코딩과 궤적 디코딩이다.

예측 에이전트와 진실 에이전트를 각각 순서가 지정되지 않은 세트 Sˆ 및 S로 표현합니다. 여기서 각 에이전트는 현재 시간 단계의 에이전트 좌표와 K개의 가능한 미래 궤적으로 표시됩니다. 각 에이전트 유형 c에 대해 Scˆ와 Sc 간의 예측 정확도를 계산합니다. 예측 에이전트와 실제 에이전트 사이의 비용은 다음과 같이 정의됩니다.

ViP3D: 3D 에이전트 쿼리를 통한 엔드투엔드 시각적 궤적 예측Scˆ와 Sc 사이의 EPA는 다음과 같이 정의됩니다.

ViP3D: 3D 에이전트 쿼리를 통한 엔드투엔드 시각적 궤적 예측실험 결과는 다음과 같습니다.

ViP3D: 3D 에이전트 쿼리를 통한 엔드투엔드 시각적 궤적 예측

ViP3D: 3D 에이전트 쿼리를 통한 엔드투엔드 시각적 궤적 예측

ViP3D: 3D 에이전트 쿼리를 통한 엔드투엔드 시각적 궤적 예측참고: 이 대상 렌더링은 잘 수행되었습니다.

위 내용은 ViP3D: 3D 에이전트 쿼리를 통한 엔드투엔드 시각적 궤적 예측의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

성명
이 기사는 51CTO.COM에서 복제됩니다. 침해가 있는 경우 admin@php.cn으로 문의하시기 바랍니다. 삭제
AI 내부 배포의 숨겨진 위험 : 거버넌스 격차 및 치명적인 위험AI 내부 배포의 숨겨진 위험 : 거버넌스 격차 및 치명적인 위험Apr 28, 2025 am 11:12 AM

Apollo Research의 새로운 보고서에 따르면 고급 AI 시스템의 점검되지 않은 내부 배치는 상당한 위험을 초래합니다. 주요 AI 기업들 사이에서 널리 퍼져있는 이러한 감독 부족은 uncont에서 범위에 이르는 잠재적 인 치명적인 결과를 허용합니다.

AI Polygraph 구축AI Polygraph 구축Apr 28, 2025 am 11:11 AM

전통적인 거짓말 탐지기는 구식입니다. 손목 대역으로 연결된 포인터에 의존하는 것은 대상의 활력 징후와 물리적 반응을 인쇄하는 거짓말 탐지기가 거짓말을 식별하는 데 정확하지 않습니다. 그렇기 때문에 거짓말 탐지 결과는 일반적으로 법원에서 채택되지는 않지만 많은 무고한 사람들이 감옥에 갇히게되었습니다. 대조적으로, 인공 지능은 강력한 데이터 엔진이며, 작동 원리는 모든 측면을 관찰하는 것입니다. 이것은 과학자들이 다양한 방식으로 진실을 찾는 응용 분야에 인공 지능을 적용 할 수 있음을 의미합니다. 한 가지 방법은 거짓말 탐지기처럼 심문을받는 사람의 중요한 부호 반응을 분석하지만보다 상세하고 정확한 비교 분석을 분석하는 것입니다. 또 다른 방법은 언어 마크 업을 사용하여 사람들이 실제로 말하는 것을 분석하고 논리와 추론을 사용하는 것입니다. 말이 갈 때, 한 거짓말은 또 다른 거짓말을 번식시키고 결국

항공 우주 산업에서 AI가 이륙을 위해 청산 되었습니까?항공 우주 산업에서 AI가 이륙을 위해 청산 되었습니까?Apr 28, 2025 am 11:10 AM

혁신의 선구자 인 항공 우주 산업은 AI를 활용하여 가장 복잡한 도전을 해결하고 있습니다. Modern Aviation의 복잡성 증가는 AI의 자동화 및 실시간 인텔리전스 기능이 필요합니다.

베이징의 봄 로봇 레이스를보고 있습니다베이징의 봄 로봇 레이스를보고 있습니다Apr 28, 2025 am 11:09 AM

로봇 공학의 빠른 발전은 우리에게 매혹적인 사례 연구를 가져 왔습니다. Noetix의 N2 로봇의 무게는 40 파운드가 넘고 키가 3 피트이며 백 플립을 할 수 있다고합니다. Unitree의 G1 로봇의 무게는 N2 크기의 약 2 배이며 키는 약 4 피트입니다. 경쟁에 참여하는 작은 휴머노이드 로봇도 많으며 팬이 앞으로 나아가는 로봇도 있습니다. 데이터 해석 하프 마라톤은 12,000 명 이상의 관중을 끌어 들였지만 21 명의 휴머노이드 로봇 만 참여했습니다. 정부는 참여 로봇이 경쟁 전에 "집중 훈련"을 수행했다고 지적했지만 모든 로봇이 전체 경쟁을 완료 한 것은 아닙니다. 챔피언 -Tiangong Ult Beijing Humanoid Robot Innovation Center가 개발했습니다.

거울 함정 : AI 윤리와 인간 상상력의 붕괴거울 함정 : AI 윤리와 인간 상상력의 붕괴Apr 28, 2025 am 11:08 AM

인공 지능은 현재 형태로 진정으로 지능적이지 않습니다. 기존 데이터를 모방하고 정제하는 데 능숙합니다. 우리는 인공 지능을 만들지 않고 오히려 인공적인 추론을 만들고 있습니다.

새로운 Google Leak은 Handy Google 사진 기능 업데이트가 공개됩니다새로운 Google Leak은 Handy Google 사진 기능 업데이트가 공개됩니다Apr 28, 2025 am 11:07 AM

보고서에 따르면 Google Photos Android 버전 7.26 코드에 업데이트 된 인터페이스가 숨겨져 있으며 사진을 볼 때마다 새로 감지 된 얼굴 썸네일 행이 화면 하단에 표시됩니다. 새로운 얼굴 썸네일에는 이름 태그가 없으므로 탐지 된 각 사람에 대한 자세한 정보를 보려면 개별적으로 클릭해야한다고 생각합니다. 현재이 기능은 Google 사진이 이미지에서 찾은 사람들 외에는 정보를 제공하지 않습니다. 이 기능은 아직 사용할 수 없으므로 Google이 어떻게 정확하게 사용할 것인지 모릅니다. Google은 썸네일을 사용하여 선택된 사람들의 더 많은 사진을 찾는 속도를 높이거나 편집 할 개인을 선택하는 것과 같은 다른 목적으로 사용될 수 있습니다. 기다렸다가 보자. 지금은

강화 조정 안내서 - 분석 Vidhya강화 조정 안내서 - 분석 VidhyaApr 28, 2025 am 09:30 AM

강화 결합은 인간의 피드백을 기반으로 조정하도록 모델을 가르치면서 AI 개발을 흔들었다. 감독 학습 기초가 보상 기반 업데이트와 혼합되어 더 안전하고 정확하며 진정으로 도움을줍니다.

Let 's Dance : 인간 신경 그물을 미세 조정하기위한 구조화 된 움직임Let 's Dance : 인간 신경 그물을 미세 조정하기위한 구조화 된 움직임Apr 27, 2025 am 11:09 AM

과학자들은 C. el 그러나 중요한 질문이 발생합니다. 새로운 AI S와 함께 효과적으로 작동하도록 우리 자신의 신경망을 어떻게 조정합니까?

See all articles

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

Video Face Swap

Video Face Swap

완전히 무료인 AI 얼굴 교환 도구를 사용하여 모든 비디오의 얼굴을 쉽게 바꾸세요!

뜨거운 도구

Eclipse용 SAP NetWeaver 서버 어댑터

Eclipse용 SAP NetWeaver 서버 어댑터

Eclipse를 SAP NetWeaver 애플리케이션 서버와 통합합니다.

SublimeText3 영어 버전

SublimeText3 영어 버전

권장 사항: Win 버전, 코드 프롬프트 지원!

맨티스BT

맨티스BT

Mantis는 제품 결함 추적을 돕기 위해 설계된 배포하기 쉬운 웹 기반 결함 추적 도구입니다. PHP, MySQL 및 웹 서버가 필요합니다. 데모 및 호스팅 서비스를 확인해 보세요.

DVWA

DVWA

DVWA(Damn Vulnerable Web App)는 매우 취약한 PHP/MySQL 웹 애플리케이션입니다. 주요 목표는 보안 전문가가 법적 환경에서 자신의 기술과 도구를 테스트하고, 웹 개발자가 웹 응용 프로그램 보안 프로세스를 더 잘 이해할 수 있도록 돕고, 교사/학생이 교실 환경 웹 응용 프로그램에서 가르치고 배울 수 있도록 돕는 것입니다. 보안. DVWA의 목표는 다양한 난이도의 간단하고 간단한 인터페이스를 통해 가장 일반적인 웹 취약점 중 일부를 연습하는 것입니다. 이 소프트웨어는

SecList

SecList

SecLists는 최고의 보안 테스터의 동반자입니다. 보안 평가 시 자주 사용되는 다양한 유형의 목록을 한 곳에 모아 놓은 것입니다. SecLists는 보안 테스터에게 필요할 수 있는 모든 목록을 편리하게 제공하여 보안 테스트를 더욱 효율적이고 생산적으로 만드는 데 도움이 됩니다. 목록 유형에는 사용자 이름, 비밀번호, URL, 퍼징 페이로드, 민감한 데이터 패턴, 웹 셸 등이 포함됩니다. 테스터는 이 저장소를 새로운 테스트 시스템으로 간단히 가져올 수 있으며 필요한 모든 유형의 목록에 액세스할 수 있습니다.