UCSD, MIT 및 기타 중국 팀은 로봇 개에게 3D 세계를 인식하도록 가르칩니다! M1 칩을 사용하면 계단을 오르고 장애물을 넘을 수 있습니다.

최근 UCSD, IAIFI 및 MIT 기관의 연구원들은 새로운 신경 체적 메모리 아키텍처(NVM)를 사용하여 로봇 개에게 3차원 세계를 인식하도록 가르쳤습니다.

이 기술을 사용하면 로봇 개는 단일 신경망을 통해 계단 오르기, 틈새 건너기, 장애물 넘기 등을 할 수 있습니다. 리모콘이 필요 없이 완전히 자율적입니다.

강아지 등에 있는 흰색 상자를 보셨나요?

로봇견의 시각 처리 작업을 담당하는 Apple의 M1 칩이 탑재되어 있습니다. 게다가 팀은 이를 Mac에서 제거했습니다.

MIT의 이 로봇 개가 아무런 노력 없이도 (기본적으로) 쉽게 앞에 있는 나뭇가지 부분을 오를 수 있다는 것을 보는 것은 어렵지 않습니다.

다리가 4개 달린 MacBook이요?

우리 모두 알고 있듯이 로봇개나 기타 다리 달린 로봇이 울퉁불퉁한 길을 건너는 것은 매우 어렵습니다.

도로 상황이 복잡할수록 보이지 않는 장애물도 더 많아집니다.

"부분적으로 관찰 가능한 환경" 문제를 해결하기 위해 SOTA의 최신 영상 모션 기술은 프레임 스태킹을 통해 이미지 채널을 연결합니다.

그러나 이 간단한 처리 방법은 광학 흐름과 특정 3D 형상을 명시적으로 모델링할 수 있는 현재의 컴퓨터 비전 기술보다 훨씬 뒤떨어져 있습니다.

이에 영감을 받아 팀은 3차원 세계의 SE(3) 동등성을 완전히 고려할 수 있는 신경 볼륨 메모리 아키텍처(NVM)를 제안했습니다.

프로젝트 주소 : https://rchayang.github.io/NVM/

이전 방식과 다르게 NVM은 Volumetric 형식입니다. 이는 여러 카메라 뷰의 기능 볼륨을 로봇의 자기 중심 프레임으로 집계하여 로봇이 주변 환경을 더 잘 이해할 수 있도록 합니다.

테스트 결과에 따르면 신경 체적 메모리(NVM)를 사용하여 다리 움직임을 훈련한 후 복잡한 지형에서 로봇의 성능이 이전 기술보다 훨씬 더 나은 것으로 나타났습니다.

또한 절제 실험 결과에 따르면 신경 체적 메모리에 저장된 콘텐츠가 3D 장면을 재구성하기에 충분한 기하학적 정보를 캡처하는 것으로 나타났습니다.

현실 세계에서의 실험

시뮬레이션 이외의 다양한 실제 시나리오를 검증하기 위해 팀은 실내 및 실외 시나리오에서 실험을 수행했습니다.

로봇개는 갑자기 눈앞에 장애물이 나타나는 것을 발견하면 곧바로 회피를 선택합니다.

바위가 가득한 땅을 걷는 것은 여전히 ​​평지보다 힘들지만 문제가 없을 것 같습니다.

자신에 비해 상대적으로 큰 장애물도 열심히 노력하면 극복할 수 있습니다.

이전의 인식 제어 기술을 사용하면 강아지의 뒷다리가 거리 판단에 분명히 오류를 범하여 도랑에 빠져 넘어졌는데, 실패했습니다.

MIT가 제안한 NVM을 채택한 후, 강아지는 도랑을 건너 안정적인 행복과 성공을 거두었습니다!

이전의 인식 제어 기술을 사용하여 강아지가 첫 번째 발차기로 목표를 놓치고 강아지의 머리가 땅에 닿아 실패했습니다.

MIT에서 제안한 NVM을 채택한 후 강아지는 매트릭스를 원활하게 통과했습니다.

다리 움직임의 부피 기억

자기 중심적 카메라 관점을 사용하는 것은 본질적으로 "부분적으로 관찰 가능한 환경"(부분적으로 관찰됨)을 다루는 문제입니다.

제어 문제를 구체적으로 만들기 위해 로봇은 이전 프레임에서 정보를 수집하고 막힌 지형을 올바르게 추론해야 합니다.

이동하는 동안 로봇 섀시에 직접 장착된 카메라의 위치가 급격하고 갑작스럽게 변경됩니다.

이렇게 일련의 사진을 특성화하는 과정에서 단일 프레임을 올바른 위치에 배치하는 것이 매우 중요해집니다.

이를 위해 팀이 제안한 NVM(신경 볼륨 메모리) 개념은 입력된 일련의 시각 정보를 3D 묘사를 위한 장면 특징으로 변환한 후 출력할 수 있습니다.

자기 지도 학습을 통한 NVM 학습

"행동 복제 목표"는 좋은 전략을 생성하는 데 충분하지만 번역 및 회전의 등분산은 자동으로 독립적인 자기 지도 학습을 제공합니다. 목표.

자기 지도 학습: 연구팀은 독립적인 디코더를 훈련했습니다. 시각적 관찰을 수행하고 두 프레임 간의 전환을 추정하여 다양한 프레임의 시각적 관찰을 예측합니다.

위 이미지에서 볼 수 있듯이 주변의 3D 장면은 프레임 간에 변경되지 않고 그대로 유지된다고 가정할 수 있습니다. 카메라가 앞을 바라보고 있기 때문에 이전 프레임의 특징량을 정규화하고 이를 사용하여 후속 이미지를 예측할 수 있습니다.

디코더의 시각적 재구성

첫 번째 사진은 로봇이 환경에서 이동하는 모습, 두 번째 사진은 입력된 시각적 관찰 결과, 세 번째 사진은 3D 특징량과 추정 사진을 이용하여 합성한 비전 관찰 그 효과.

입력을 시각적으로 관찰하기 위해 연구팀은 모델의 견고성을 향상시키기 위해 이미지에 수많은 데이터 향상 기능을 적용했습니다.

저자 소개

Ruihan Yan

Ruihan Yan은 2년차 박사 과정 학생입니다. 캘리포니아 대학교, 샌디에고. 그 전에는 2019년 난카이 대학에서 소프트웨어 공학 학사 학위를 취득했습니다

주요 연구 분야는 강화 학습, 기계 학습, 로봇 공학 등입니다. 특히 그는 다양한 소스의 정보를 사용하여 의사결정을 내리는 지능형 에이전트를 구축하고 싶어합니다.

Ge Yang

Ge Yang은 예일 대학교에서 물리학 및 수학 학사 학위를 취득하고, 시카고 대학교에서 물리학 박사 학위를 받았습니다. 현재 그는 미국 국립과학재단(National Science Foundation) 산하 인공지능 및 기본 상호작용 연구소(IAIFI)에서 박사후 연구원으로 재직하고 있습니다.

Ge Yang의 연구에는 두 가지 관련 문제가 포함됩니다. 첫 번째 그룹은 신경망에서 지식을 표현하는 방식과 지식이 분포를 통해 전달되는 방식을 재검토하여 학습을 개선하는 것입니다. 두 번째 그룹은 신경 탄젠트 커널, 비유클리드 기하학, 해밀턴 역학과 같은 이론적 도구의 렌즈를 통해 강화 학습을 살펴봅니다.

Xiaolong Wang

Xiaolong Wang은 샌디에이고 캘리포니아 대학교 ECE학과의 조교수입니다. 그는 TILOS 국립과학재단 인공지능연구소의 로봇공학팀의 일원입니다.

카네기멜론대학교에서 로봇공학 박사학위를 취득하고 캘리포니아대학교 버클리캠퍼스에서 박사후 연구를 했습니다.

위 내용은 UCSD, MIT 및 기타 중국 팀은 로봇 개에게 3D 세계를 인식하도록 가르칩니다! M1 칩을 사용하면 계단을 오르고 장애물을 넘을 수 있습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!