찾다
기술 주변기기일체 포함OccNeRF: LiDAR 데이터 감독이 전혀 필요하지 않습니다.

위 작성 및 작성자 개인 요약

최근 몇 년간 자율주행 분야의 3차원 탑승 예측 작업은 그 특유의 장점으로 인해 학계와 산업계에서 폭넓은 주목을 받아왔습니다. 주변 환경의 3차원 구조를 재구성하여 자율주행 계획 및 네비게이션에 대한 세부 정보를 제공하는 작업입니다. 그러나 대부분의 현재 주류 방법은 LiDAR 포인트 클라우드를 기반으로 생성된 레이블을 사용하여 네트워크 훈련을 감독합니다. 최근 OccNeRF 연구에서 저자는 매개변수화된 점유 필드(Parameterized Occupancy Fields)라는 자체 감독 다중 카메라 점유 예측 방법을 제안했습니다. 이 방법은 야외 장면에서 경계가 없는 문제를 해결하고 샘플링 전략을 재구성합니다. 그런 다음 볼륨 렌더링(Volume Rendering) 기술을 통해 점유된 필드를 다중 카메라 깊이 맵으로 변환하고 다중 프레임 광도 일관성(Photometric Error)으로 감독합니다. 또한 이 방법은 사전 훈련된 개방형 어휘 의미론적 분할 모델을 활용하여 직업 분야에 의미론적 정보를 부여하기 위한 2D 의미론적 라벨을 생성합니다. 이 개방형 어휘 의미론적 분할 모델은 장면의 다양한 객체를 분할하고 각 객체에 의미론적 라벨을 할당할 수 있습니다. 이러한 의미 라벨을 점유 필드와 결합함으로써 모델은 환경을 더 잘 이해하고 더 정확한 예측을 할 수 있습니다. 요약하면, OccNeRF 방법은 매개변수화된 점유 필드, 볼륨 렌더링 및 다중 프레임 측광 일관성과 개방형 어휘 의미론적 분할 모델을 결합하여 자율 주행 시나리오에서 고정밀 점유 예측을 달성합니다. 이 방식은 자율주행 시스템에 더 많은 환경 정보를 제공하고, 자율주행의 안전성과 신뢰성을 향상시킬 것으로 기대된다.

OccNeRF: LiDAR 데이터 감독이 전혀 필요하지 않습니다.

  • 문서 링크: https://arxiv.org/pdf/2312.09243.pdf
  • 코드 링크: https://github.com/LinShan-Bin/OccNeRF

OccNeRF 문제 배경

최근 인공지능 기술의 급속한 발전과 함께 자율주행 분야에서도 큰 발전이 이루어졌습니다. 3D 인식은 자율주행의 기반이 되며, 이후의 계획과 의사결정에 필요한 정보를 제공합니다. 전통적인 방법에서 LiDAR는 정확한 3D 데이터를 직접 캡처할 수 있지만 센서의 높은 비용과 스캐닝 지점이 희박하여 실제 적용이 제한됩니다. 이에 반해 이미지 기반 3D 센싱 방식은 비용이 저렴하고 효과적이어서 점점 더 많은 주목을 받고 있습니다. 멀티 카메라 3D 물체 감지는 한동안 3D 장면 이해 작업의 주류였지만 현실 세계의 무제한 범주에 대처할 수 없고 데이터의 롱테일 배포에 어려움을 겪고 있습니다.

3D 점유 예측은 멀티뷰 입력을 통해 주변 장면의 기하학적 구조를 직접 재구성함으로써 이러한 단점을 잘 보완할 수 있습니다. 대부분의 기존 방법은 이미지 기반 시스템에서는 사용할 수 없는 LiDAR 포인트 클라우드에서 생성된 레이블을 사용하여 네트워크 훈련을 감독하는 모델 설계 및 성능 최적화에 중점을 둡니다. 즉, 훈련 데이터를 수집하기 위해 여전히 값비싼 데이터 수집 수단을 사용해야 하며 LiDAR 포인트 클라우드 지원 주석 없이는 대량의 실제 데이터를 낭비해야 하므로 3D 점유 예측 개발이 어느 정도 제한됩니다. 따라서 자기주도형 3D 점유 예측을 탐구하는 것은 매우 귀중한 방향입니다.

OccNeRF 알고리즘에 대한 자세한 설명

다음 그림은 OccNeRF 방식의 기본 과정을 보여줍니다. 모델은 다중 카메라 이미지

를 입력으로 사용하고 먼저 2D 백본을 사용하여 N 이미지의 특징

을 추출한 다음 간단한 투영 및 이중선형 보간(매개변수화된 공간 아래)을 통해 직접 3D 특징을 얻고 마지막으로 3D를 통해 CNN 네트워크는 3D 기능을 최적화하고 예측을 출력합니다. 모델을 훈련하기 위해 OccNeRF 방법은 볼륨 렌더링을 통해 현재 프레임의 깊이 맵을 생성하고 이전 및 다음 프레임을 도입하여 광도 손실을 계산합니다. 더 많은 타이밍 정보를 제공하기 위해 OccNeRF는 점유 필드를 사용하여 다중 프레임 깊이 맵을 렌더링하고 손실 함수를 계산합니다. 동시에 OccNeRF는 2D 의미 지도를 동시에 렌더링하며 Open Lexicon 의미 체계 분할 모델에 의해 감독됩니다.

매개변수화된 Occupancy FieldsOccNeRF: LiDAR 데이터 감독이 전혀 필요하지 않습니다.

매개변수화된 Occupancy Field는 카메라와 점유 그리드 사이의

인식 범위 격차

문제를 해결하기 위해 제안되었습니다. 이론적으로 카메라는 무한한 거리에 있는 물체를 캡처할 수 있지만, 이전 점유 예측 모델은 더 가까운 공간(예: 40m 이내)만 고려합니다. 감독 방법에서 모델은 감독 신호를 기반으로 먼 물체를 무시하는 방법을 학습할 수 있습니다. 최적화 프로세스에 영향을 미칩니다. 이를 기반으로 OccNeRF는 매개변수화된 점유 필드(Parameterized Occupancy Fields)를 채택하여 무제한의 야외 장면을 모델링합니다.

OccNeRF의 매개변수화 공간은 내부와 외부로 구분됩니다. 내부 공간은 원래 좌표의 선형 매핑으로, 높은 해상도를 유지하는 반면 외부 공간은 무한한 범위를 나타냅니다. 특히 OccNeRF는 3D 공간에서 중간점의 좌표를 다음과 같이 변경합니다.

여기서 좌표이고, 는 내부 공간의 해당 경계 값을 나타내는 조정 가능한 매개변수입니다. 또한 조정 가능합니다. 조정된 매개변수는 점유된 내부 공간의 비율을 나타냅니다. 매개변수화된 점유 필드를 생성할 때 OccNeRF는 먼저 매개변수화된 공간에서 샘플링하고 역변환을 통해 원래 좌표를 얻은 다음 원래 좌표를 이미지 평면에 투영하고 마지막으로 샘플링과 3차원 컨볼루션을 통해 점유 필드를 얻습니다.

다중 프레임 깊이 추정

점유 네트워크를 훈련하기 위해 OccNeRF는 볼륨 렌더링을 사용하여 점유를 깊이 맵으로 변환하고 광도 손실 함수를 통해 감독하기로 선택했습니다. 샘플링 전략은 깊이 맵을 렌더링할 때 중요합니다. 매개변수화된 공간에서 깊이나 시차를 기준으로 균일하게 직접 샘플링하면 샘플링 지점이 내부 또는 외부 공간에 고르지 않게 분포되어 최적화 프로세스에 영향을 미칩니다. 따라서 OccNeRF는 카메라 중심이 원점에 가깝다는 전제 하에 매개변수화된 공간에서 균일하게 직접 샘플링하는 것을 제안합니다. 또한 OccNeRF는 훈련 중에 다중 프레임 깊이 맵을 렌더링하고 감독합니다.

아래 그림은 파라메트릭 공간 표현 사용의 장점을 시각적으로 보여줍니다. (세 번째 줄은 매개변수화된 공간을 사용하고 두 번째 줄은 사용하지 않습니다.)

OccNeRF: LiDAR 데이터 감독이 전혀 필요하지 않습니다.

Semantic Label Generation

OccNeRF는 사전 훈련된 GroundedSAM(Grounding DINO + SAM)을 사용하여 2D 의미 체계 라벨을 생성합니다. OccNeRF는 고품질 라벨을 생성하기 위해 두 가지 전략을 채택합니다. 하나는 nuScene의 모호한 카테고리를 정확한 설명으로 대체하는 프롬프트 단어 최적화입니다. OccNeRF에서는 프롬프트 단어를 최적화하기 위해 세 가지 전략이 사용됩니다: 모호한 단어 대체(자동차가 세단으로 대체됨), 단어 대 단어 다중 단어(인공이 건물, 광고판 및 교량으로 대체됨), 추가 정보 도입(자전거가 자전거로 대체됨) 자전거로 대체(자전거 이용자). 두 번째는 SAM에서 제공하는 픽셀별 신뢰도 대신 Grounding DINO의 감지 프레임 신뢰도를 기반으로 카테고리를 결정하는 것입니다. OccNeRF가 생성한 의미 라벨 효과는 다음과 같습니다.

OccNeRF: LiDAR 데이터 감독이 전혀 필요하지 않습니다.

OccNeRF 실험 결과

OccNeRF는 nuScenes에 대한 실험을 수행했으며 주로 다중 뷰 자기 지도 깊이 추정 및 3D 점유 예측 작업을 완료했습니다.

다중 시점 자기주도 깊이 추정

OccNeRF의 NuScene에 대한 다중 시점 자기주도 깊이 추정 성능은 아래 표와 같습니다. 3D 모델링을 기반으로 한 OccNeRF는 2D 방식을 훨씬 능가하고 SimpleOcc도 능가한다는 것을 알 수 있는데, 이는 주로 야외 장면에 대해 OccNeRF가 모델링하는 무제한 공간 범위 때문입니다.

OccNeRF: LiDAR 데이터 감독이 전혀 필요하지 않습니다.논문에 나온 일부 시각화는 다음과 같습니다.

OccNeRF: LiDAR 데이터 감독이 전혀 필요하지 않습니다.3D 점유 예측

nuScenes에서 OccNeRF의 3D 점유 예측 성능은 아래 표에 나와 있습니다. OccNeRF는 주석이 달린 데이터를 전혀 사용하지 않기 때문에 성능은 여전히 ​​감독 방법에 비해 뒤떨어집니다. 그러나 운전 가능한 표면 및 인공과 같은 일부 범주는 감독 방법과 비슷한 성능을 달성했습니다.

OccNeRF: LiDAR 데이터 감독이 전혀 필요하지 않습니다. 기사에 포함된 시각화 중 일부는 다음과 같습니다.

OccNeRF: LiDAR 데이터 감독이 전혀 필요하지 않습니다.

요약

많은 자동차 제조업체가 LiDAR 센서를 제거하려고 하는 이때, 라벨이 지정되지 않은 수천 개의 이미지를 효과적으로 활용하는 방법 데이터는 중요한 이슈 주제입니다. 그리고 OccNeRF는 우리에게 귀중한 시도를 가져왔습니다.

OccNeRF: LiDAR 데이터 감독이 전혀 필요하지 않습니다.원본 링크: https://mp.weixin.qq.com/s/UiYEeauAGVtT0c5SB2tHEA

위 내용은 OccNeRF: LiDAR 데이터 감독이 전혀 필요하지 않습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

성명
이 기사는 51CTO.COM에서 복제됩니다. 침해가 있는 경우 admin@php.cn으로 문의하시기 바랍니다. 삭제
LLM에서 도구 호출LLM에서 도구 호출Apr 14, 2025 am 11:28 AM

대형 언어 모델 (LLM)은 인기가 높아졌으며, 도구 전달 기능은 단순한 텍스트 생성을 넘어 기능을 극적으로 확장했습니다. 이제 LLM은 동적 UI 생성 및 자율적 인 A와 같은 복잡한 자동화 작업을 처리 할 수 ​​있습니다.

ADHD 게임, 건강 도구 및 AI 챗봇이 글로벌 건강을 변화시키는 방법ADHD 게임, 건강 도구 및 AI 챗봇이 글로벌 건강을 변화시키는 방법Apr 14, 2025 am 11:27 AM

비디오 게임이 불안을 완화하거나 집중하거나 ADHD를 가진 어린이를 지원할 수 있습니까? 건강 관리 도전이 전 세계적으로 급증함에 따라, 특히 청소년들 사이에서 혁신가들은 비디오 게임 인 가능성이없는 도구로 전환하고 있습니다. 이제 세계 최대의 엔터테인먼트 인더스 중 하나입니다

AI에 대한 UN 입력 : 우승자, 패자 및 기회AI에 대한 UN 입력 : 우승자, 패자 및 기회Apr 14, 2025 am 11:25 AM

UNCTAD의 사무 총장 인 Rebeca Grynspan은“역사는 기술 진보가 경제 성장을 유발하거나 공평한 소득 분배를 보장하거나 포용적인 인간 발전을 촉진하지는 않습니다.

생성 AI를 통한 협상 기술 ​​학습생성 AI를 통한 협상 기술 ​​학습Apr 14, 2025 am 11:23 AM

쉽게 생성 AI를 협상 교사 및 스파링 파트너로 사용하십시오. 그것에 대해 이야기합시다. 혁신적인 AI 혁신에 대한이 분석은 AI의 최신 Forbes 열 범위의 일부입니다.

Ted는 Openai, Google, 메타가 법정으로 공개됩니다.Ted는 Openai, Google, 메타가 법정으로 공개됩니다.Apr 14, 2025 am 11:22 AM

밴쿠버에서 개최 된 TED2025 컨퍼런스는 어제 4 월 11 일 36 번째 판을 마무리했습니다. Sam Altman, Eric Schmidt 및 Palmer Luckey를 포함한 60 개 이상의 국가에서 80 명의 스피커를 선보였습니다. 테드의 주제 인“인류를 다시 상상했다”는 재단사가 만들어졌다

Joseph Stiglitz는 AI 독점권 속에서 임시 불평등을 경고합니다.Joseph Stiglitz는 AI 독점권 속에서 임시 불평등을 경고합니다.Apr 14, 2025 am 11:21 AM

Joseph Stiglitz는 2001 년에 유명한 경제학자이자 노벨 경제학상을 수상했습니다. Stiglitz는 AI가 기존의 불평등과 통합 된 권력을 몇몇 지배적 인 기업의 손에 악화시킬 수 있으며 궁극적으로 경제를 훼손 할 수 있다고 주장합니다.

그래프 데이터베이스 란 무엇입니까?그래프 데이터베이스 란 무엇입니까?Apr 14, 2025 am 11:19 AM

그래프 데이터베이스 : 관계를 통한 데이터 관리 혁명 데이터가 확장되고 그 특성이 다양한 필드에서 발전함에 따라 그래프 데이터베이스는 상호 연결된 데이터를 관리하기위한 변환 솔루션으로 떠오르고 있습니다. 전통적인 것과는 달리

LLM 라우팅 : 전략, 기술 및 파이썬 구현LLM 라우팅 : 전략, 기술 및 파이썬 구현Apr 14, 2025 am 11:14 AM

대형 언어 모델 (LLM) 라우팅 : 지능형 작업 분포를 통한 성능 최적화 LLM의 빠르게 진화하는 환경은 각각 독특한 강점과 약점을 가진 다양한 모델을 제시합니다. 일부는 Creative Content Gen에서 탁월합니다

See all articles

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

AI Hentai Generator

AI Hentai Generator

AI Hentai를 무료로 생성하십시오.

인기 기사

R.E.P.O. 에너지 결정과 그들이하는 일 (노란색 크리스탈)
4 몇 주 전By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. 최고의 그래픽 설정
4 몇 주 전By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. 아무도들을 수없는 경우 오디오를 수정하는 방법
4 몇 주 전By尊渡假赌尊渡假赌尊渡假赌
WWE 2K25 : Myrise에서 모든 것을 잠금 해제하는 방법
1 몇 달 전By尊渡假赌尊渡假赌尊渡假赌

뜨거운 도구

Dreamweaver Mac版

Dreamweaver Mac版

시각적 웹 개발 도구

SublimeText3 영어 버전

SublimeText3 영어 버전

권장 사항: Win 버전, 코드 프롬프트 지원!

메모장++7.3.1

메모장++7.3.1

사용하기 쉬운 무료 코드 편집기

Atom Editor Mac 버전 다운로드

Atom Editor Mac 버전 다운로드

가장 인기 있는 오픈 소스 편집기

Eclipse용 SAP NetWeaver 서버 어댑터

Eclipse용 SAP NetWeaver 서버 어댑터

Eclipse를 SAP NetWeaver 애플리케이션 서버와 통합합니다.