>하드웨어 튜토리얼 >하드웨어 검토 >Vision Pro를 사용하여 로봇 개를 실시간으로 훈련시키세요! MIT 박사과정생 오픈소스 프로젝트 인기

Vision Pro를 사용하여 로봇 개를 실시간으로 훈련시키세요! MIT 박사과정생 오픈소스 프로젝트 인기

WBOY
WBOY앞으로
2024-03-12 21:40:02656검색

Vision Pro에는 또 다른 뜨거운 새로운 게임 플레이가 있습니다. 이번에는 구체화된 지능과 연결됩니다~

이렇게 MIT 남자는 Vision Pro의 핸드 트래킹 기능을 사용하여 로봇견의 실시간 제어에 성공했습니다.

 用 Vision Pro 实时训练机器狗!MIT 博士生开源项目火了

문을 여는 등의 동작을 정확하게 할 수 있을 뿐만 아니라 지연도 거의 없습니다.

 用 Vision Pro 实时训练机器狗!MIT 博士生开源项目火了

데모가 나오자마자 네티즌들은 구스걸을 칭찬했을 뿐만 아니라 다양한 체화지능 연구자들도 열광했습니다.

예를 들어 칭화 대학교의 박사 과정 학생은 다음과 같습니다.  用 Vision Pro 实时训练机器狗!MIT 博士生开源项目火了

어떤 사람들은 다음과 같이 대담하게 예측합니다. 이것이 우리가 차세대 기계와 상호 작용하는 방식입니다.

 用 Vision Pro 实时训练机器狗!MIT 博士生开源项目火了

 用 Vision Pro 实时训练机器狗!MIT 博士生开源项目火了 저자가 개발한 앱인 Tracking Steamer를 자세히 살펴보겠습니다.

이름에서 알 수 있듯이 이 애플리케이션은 Vision Pro를 사용하여 인간의 움직임을 추적하고 이러한 움직임 데이터를 동일한 Wi-Fi를 사용하는 다른 로봇 장치에 실시간으로 전송하도록 설계되었습니다.  用 Vision Pro 实时训练机器狗!MIT 博士生开源项目火了

모션 추적 부분은 주로 Apple의 ARKit 라이브러리에 의존합니다.

머리 추적은 queryDeviceAnchor를 호출합니다. 사용자는 Digital Crown을 길게 눌러 헤드 프레임을 현재 위치로 재설정할 수 있습니다.  用 Vision Pro 实时训练机器狗!MIT 博士生开源项目火了

손목 및 손가락 추적은 HandTrackingProvider를 통해 구현됩니다. 지면 프레임을 기준으로 왼쪽 및 오른쪽 손목의 위치와 방향을 추적할 뿐만 아니라 손목 프레임을 기준으로 각 손의 25개 손가락 관절의 자세를 추적합니다.

네트워크 통신 측면에서 이 앱은 gRPC를 네트워크 통신 프로토콜로 사용하여 데이터를 스트리밍합니다. 이를 통해 Linux, Mac 및 Windows 장치를 포함한 더 많은 장치에 데이터를 구독할 수 있습니다.

또한 데이터 전송을 용이하게 하기 위해 저자는 개발자가 프로그래밍 방식으로 Vision Pro에서 스트리밍되는 추적 데이터를 구독하고 수신할 수 있는 Python API도 준비했습니다.  用 Vision Pro 实时训练机器狗!MIT 博士生开源项目火了

API에서 반환되는 데이터는 머리, 손목, 손가락의 SE(3) 자세 정보, 즉 3차원 위치와 방향이 담긴 사전 형태입니다. 개발자는 로봇에 대한 추가 분석 및 제어를 위해 Python에서 이 데이터를 직접 처리할 수 있습니다.

많은 전문가들이 지적한 것처럼, 로봇개의 움직임이 여전히 인간에 의해 제어되는지 여부에 관계없이 실제로는 모방 학습 알고리즘과 결합된 "제어" 자체에 비해 인간이 더 많은 능력을 발휘합니다. 이 과정은 로봇 트레이너와 같습니다.

Vision Pro는 사용자의 움직임을 추적하여 직관적이고 간단한 상호 작용 방법을 제공하므로 전문가가 아니더라도 정확한 로봇 훈련 데이터를 제공할 수 있습니다.  用 Vision Pro 实时训练机器狗!MIT 博士生开源项目火了

저자 자신도 논문에 다음과 같이 썼습니다.

가까운 미래에 사람들은 Vision Pro와 같은 장치를 일상용 안경처럼 착용할 수도 있습니다. 이 과정에서 우리가 얼마나 많은 데이터를 수집할 수 있는지 상상해보세요!

이는 인간이 현실 세계와 상호 작용하는 방식을 로봇이 학습할 수 있는 유망한 데이터 소스입니다.

마지막으로, 이 오픈 소스 프로젝트를 시도하려면 Vision Pro 외에 다음도 준비해야 합니다.

Apple 개발자 계정

Vision Pro 개발자 스트랩, 가격 $299)

Mac 컴퓨터 Xcode를 설치한 상태에서

글쎄, 아직은 애플이 먼저 수익을 내야 하는 것 같습니다.

프로젝트 링크:

https://github.com/Improbable-AI/VisionProTeleop?tab=readme-ov-file

참조 링크:

https://twitter.com/younghyo_park/status/1766274298422161830

위 내용은 Vision Pro를 사용하여 로봇 개를 실시간으로 훈련시키세요! MIT 박사과정생 오픈소스 프로젝트 인기의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

성명:
이 기사는 myzaker.com에서 복제됩니다. 침해가 있는 경우 admin@php.cn으로 문의하시기 바랍니다. 삭제