메타 연구진, 로봇이 시각적으로 작동할 수 있는 인공 시각 피질 개발

Meta의 AI 연구 부서 연구원들은 최근 로봇 적응 기술 조정 및 시각 피질 복제의 주요 진전을 발표하는 발표를 발표했습니다. 그들은 이러한 발전을 통해 AI 기반 로봇이 현실 세계에서 데이터를 얻을 필요 없이 비전을 통해 현실 세계에서 작동할 수 있다고 말합니다.

그들은 이것이 인간의 개입 없이 현실 세계와 상호 작용할 수 있는 범용 "체화된 AI" 로봇을 만드는 데 있어 큰 발전이라고 주장합니다. 연구원들은 또한 전 세계 수천 명의 연구 참가자들의 일상 활동을 비디오로 기록하는 Ego4D 데이터 세트를 기반으로 훈련된 "VC-1"이라는 인공 시각 피질을 만들었다고 말했습니다.

연구원들이 이전에 게시한 블로그 게시물에서 설명했듯이 시각 피질은 유기체가 시각을 움직임으로 변환할 수 있게 하는 뇌의 영역입니다. 따라서 인공 시각 피질을 갖는 것은 앞에 있는 장면을 기반으로 작업을 수행해야 하는 로봇의 핵심 요구 사항입니다.

"VC-1'의 인공 시각 피질은 다양한 환경에서 다양한 감각 운동 작업을 잘 수행해야 하기 때문에 Ego4D 데이터 세트에는 카메라가 매일 수천 시간의 비디오를 기록하므로 특히 중요한 역할을 합니다. 요리, 청소, 운동, 공예 등을 포함한 활동.

연구원들은 다음과 같이 말했습니다. "생물학적 유기체에는 우리가 찾고 있는 표상 에이전트인 보편적인 시각 피질이 있습니다. 따라서 우리는 Ego4D를 핵심 데이터 세트로 사용하여 여러 작업에서 잘 수행되는 데이터 세트를 만들고 개선하기 시작했습니다. Ego4D는 주로 요리, 정원 가꾸기, 공예와 같은 일상 활동에 중점을 두기 때문에 주택과 아파트를 탐색하는 자기 중심적인 비디오 데이터 세트도 채택했습니다.”

그러나 비전은 단지 하나의 요소일 뿐입니다. 로봇이 현실 세계에서 완전히 자율적으로 작동하려면 현실 세계의 물체도 조작할 수 있어야 합니다. 로봇이 탐색하고, 물체를 찾아 운반하고, 다른 위치로 이동한 다음 올바르게 배치하려면 시각이 필요합니다. 모든 작업은 보고 듣는 내용을 기반으로 자율적으로 수행됩니다.

이 문제를 해결하기 위해 Meta의 AI 전문가는 Georgia Institute of Technology의 연구원과 협력하여 로봇이 시뮬레이션하고 훈련하는 데 사용하는 ASC(Adaptive Skill Coordination)라는 새로운 기술을 개발했습니다. 이러한 기술은 실제 로봇에 복제됩니다.

Meta는 Boston Dynamics와도 협력하여 ASC 기술의 효율성을 입증했습니다. 두 회사는 ASC 기술을 Boston Dynamics의 Spot 로봇과 결합하여 로봇에 강력한 감지, 탐색 및 조작 기능을 제공했지만 상당한 인간 개입도 필요했습니다. 예를 들어, 물체를 선택하려면 누군가가 로봇 태블릿에 표시된 물체를 클릭해야 합니다.

연구원들은 기사에서 다음과 같이 썼습니다. "우리의 목표는 Boston Dynamics API를 통해 온보드 감지 및 모터 명령으로 세상을 인식할 수 있는 AI 모델을 구축하는 것입니다."

Spot 로봇은 Habitat 시뮬레이터를 사용하여 테스트되었습니다. 시뮬레이션 환경은 1,000개 이상의 주택에 대한 실내 3D 스캔 데이터가 포함된 HM3D 및 ReplicaCAD 데이터 세트를 사용하여 구축되었습니다. 그런 다음 스팟 로봇은 이전에 본 적이 없는 집 주위를 이동하고 물건을 운반하고 적절한 위치에 배치하도록 훈련되었습니다. 훈련된 스팟 로봇이 얻은 지식과 정보는 현실 세계에서 작동하는 스팟 로봇에 복제되며, 집 구조에 대한 지식을 바탕으로 동일한 작업을 자동으로 수행합니다.

연구원들은 다음과 같이 썼습니다. “우리는 매우 다른 두 가지 실제 환경, 즉 185제곱미터의 가구가 완비된 아파트와 65제곱미터의 대학 실험실을 사용하여 Spot 로봇을 테스트했습니다. 전반적으로 ASC 기술이 적용된 스팟 로봇은 60번의 테스트 중 59번의 성공, 하드웨어 불안정성, 픽업 실패, 이동 장애물이나 경로 차단과 같은 적대적 간섭을 극복하는 등 거의 완벽하게 수행되었습니다."라고 말했습니다. 또한 VC-1 모델의 소스 코드를 공개하고 모델 크기, 데이터 세트 크기 등을 확장하는 방법에 대한 세부 정보를 다른 논문에서 공유했다고 합니다. 그 동안 팀의 다음 초점은 VC-1을 ASC와 통합하여 보다 인간과 유사한 표현형 AI 시스템을 만드는 것입니다.

위 내용은 메타 연구진, 로봇이 시각적으로 작동할 수 있는 인공 시각 피질 개발의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!