Vision Pro를 사용하여 실시간으로 로봇 개를 훈련시키세요! MIT 박사과정 학생의 오픈소스 프로젝트가 인기를 끌다

Vision Pro에는 또 하나의 핫한 새로운 플레이 방법이 있는데, 이번에는 구체화된 지능과 연동됩니다~

이렇게 MIT 친구는 Vision Pro의 핸드 트래킹 기능을 사용해 로봇견의 실시간 제어에 성공했습니다. .

문을 여는 등의 동작을 정확하게 얻을 수 있을 뿐만 아니라

지연도 거의 없습니다.

데모가 나오자마자 네티즌들은 구스걸을 칭찬했을 뿐만 아니라 다양한 체화지능 연구자들도 열광했습니다.

예를 들어 칭화 대학교의 박사 과정 학생은 다음과 같습니다.

어떤 사람들은 다음과 같이 대담하게 예측합니다. 이것이 우리가 차세대 기계와 상호 작용하는 방식입니다.

프로젝트 구현 방법을 저자인 박영효(박영효)님이 GitHub에 오픈소스로 공개했습니다. 관련 앱은 Vision Pro의 App Store에서 직접 다운로드할 수 있습니다.

Vision Pro를 사용하여 로봇 개 훈련시키기

저자가 개발한 앱인 Tracking Steamer를 자세히 살펴보겠습니다.

이름에서 알 수 있듯이 이 애플리케이션은 Vision Pro를 사용하여 인간의 움직임을 추적하고 이러한 움직임 데이터를 동일한 Wi-Fi를 사용하는 다른 로봇 장치에 실시간으로 전송하도록 설계되었습니다.

모션 추적 부분은 주로 Apple의 ARKit 라이브러리에 의존합니다.

머리 추적은 queryDeviceAnchor를 호출합니다. 사용자는 Digital Crown을 길게 눌러 헤드 프레임을 현재 위치로 재설정할 수 있습니다.

손목 및 손가락 추적은 HandTrackingProvider를 통해 구현됩니다. 지면 프레임을 기준으로 왼쪽 및 오른쪽 손목의 위치와 방향을 추적할 수 있을 뿐만 아니라 손목 프레임을 기준으로 각 손의 25개 손가락 관절의 자세를 추적할 수 있습니다.

네트워크 통신 측면에서 이 앱은 gRPC를 네트워크 통신 프로토콜로 사용하여 데이터를 스트리밍합니다. 이를 통해 Linux, Mac 및 Windows 장치를 포함한 더 많은 장치에 데이터를 구독할 수 있습니다.

또한 데이터 전송을 용이하게 하기 위해 저자는 개발자가 프로그래밍 방식으로 Vision Pro에서 스트리밍되는 추적 데이터를 구독하고 수신할 수 있는 Python API도 준비했습니다.

API가 반환하는 데이터는 머리, 손목, 손가락의 SE(3) 자세 정보, 즉 3차원 위치와 방향을 포함하여 사전 형태입니다. 개발자는 로봇에 대한 추가 분석 및 제어를 위해 Python에서 이 데이터를 직접 처리할 수 있습니다.

많은 전문가들이 지적한 것처럼, 로봇개의 움직임이 여전히 인간에 의해 제어되는지 여부에 관계없이 실제로는 모방 학습 알고리즘과 결합된 "제어" 자체에 비해 인간이 더 많은 능력을 발휘합니다. 이 과정은 로봇 트레이너와 같습니다.

Vision Pro는 사용자의 움직임을 추적하여 직관적이고 간단한 상호 작용 방법을 제공하므로 전문가가 아니더라도 정확한 로봇 훈련 데이터를 제공할 수 있습니다.

저자 자신도 논문에 다음과 같이 썼습니다.

가까운 미래에 사람들은 Vision Pro와 같은 장치를 일상용 안경처럼 착용할 수도 있습니다. 이 과정에서 우리가 얼마나 많은 데이터를 수집할 수 있는지 상상해보세요!

이는 인간이 현실 세계와 상호 작용하는 방식을 로봇이 학습할 수 있는 유망한 데이터 소스입니다.

마지막으로, 이 오픈 소스 프로젝트를 시도하고 싶다면 Vision Pro 외에 다음 사항도 준비해야 한다는 점을 알려드립니다.

• Apple 개발자 계정
• Vision Pro 개발자 액세서리(개발자 스트랩, 가격 $299)
• Xcode가 설치된 Mac 컴퓨터

글쎄, Apple은 여전히 ​​먼저 수익을 내야 하는 것 같습니다.

프로젝트 링크:https://github.com/Improbable-AI/VisionProTeleop?tab=readme-ov-file

위 내용은 Vision Pro를 사용하여 실시간으로 로봇 개를 훈련시키세요! MIT 박사과정 학생의 오픈소스 프로젝트가 인기를 끌다의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!