Trainieren Sie Ihren Roboterhund in Echtzeit mit Vision Pro! Das Open-Source-Projekt eines MIT-Doktoranden ist beliebt

Vision Pro hat ein weiteres heißes neues Gameplay, dieses Mal ist es mit verkörperter Intelligenz verbunden~

Einfach so nutzte der MIT-Typ die Handverfolgungsfunktion von Vision Pro, um erfolgreich eine Echtzeitsteuerung des Roboterhundes zu erreichen.

Aktionen wie das Öffnen einer Tür können nicht nur präzise erfolgen, es gibt auch nahezu keine Verzögerung.

Sobald die Demo herauskam, lobten nicht nur Internetnutzer Goose Girl, sondern auch verschiedene verkörperte Intelligenzforscher waren begeistert.

Zum Beispiel dieser angehende Doktorand an der Tsinghua-Universität:

Manche sagen mutig voraus: So werden wir mit der nächsten Generation von Maschinen interagieren.

Werfen wir einen genaueren Blick auf die vom Autor entwickelte App – Tracking Steamer.

Wie der Name schon sagt, ist diese Anwendung darauf ausgelegt, mithilfe von Vision Pro menschliche Bewegungen zu verfolgen und diese Bewegungsdaten in Echtzeit an andere Robotergeräte über dasselbe WLAN zu übertragen.

Der Bewegungsverfolgungsteil basiert hauptsächlich auf der ARKit-Bibliothek von Apple.

Das Head-Tracking ruft queryDeviceAnchor auf. Benutzer können den Kopfrahmen auf seine aktuelle Position zurücksetzen, indem sie die Digital Crown gedrückt halten.

Handgelenk- und Finger-Tracking werden über HandTrackingProvider implementiert. Es verfolgt die Position und Ausrichtung des linken und rechten Handgelenks relativ zum Bodenrahmen sowie die Haltung von 25 Fingergelenken jeder Hand relativ zum Handgelenkrahmen.

In Bezug auf die Netzwerkkommunikation verwendet diese App gRPC als Netzwerkkommunikationsprotokoll zum Streamen von Daten. Dadurch können Daten auf mehr Geräten abonniert werden, einschließlich Linux-, Mac- und Windows-Geräten.

Um die Datenübertragung zu erleichtern, hat der Autor außerdem eine Python-API vorbereitet, die es Entwicklern ermöglicht, von Vision Pro gestreamte Tracking-Daten programmgesteuert zu abonnieren und zu empfangen.

Die von der API zurückgegebenen Daten liegen in Form eines Wörterbuchs vor und enthalten die SE (3)-Haltungsinformationen von Kopf, Handgelenk und Fingern, also die dreidimensionale Position und Ausrichtung. Entwickler können diese Daten zur weiteren Analyse und Steuerung des Roboters direkt in Python verarbeiten.

Wie viele Fachleute betont haben, sind Menschen unabhängig davon, ob die Bewegungen des Roboterhundes immer noch von Menschen gesteuert werden, im Vergleich zur „Kontrolle“ selbst in Kombination mit dem Nachahmungslernalgorithmus in der Lage Dieser Prozess ist wie ein Robotertrainer.

Vision Pro bietet eine intuitive und einfache Interaktionsmethode, indem es die Bewegungen des Benutzers verfolgt und es Laien ermöglicht, genaue Trainingsdaten für Roboter bereitzustellen.

Der Autor selbst schrieb in der Zeitung auch:

In naher Zukunft könnten Menschen Geräte wie Vision Pro wie Alltagsbrillen tragen. Stellen Sie sich vor, wie viele Daten wir aus diesem Prozess sammeln können!

Dies ist eine vielversprechende Datenquelle, aus der Roboter lernen können, wie Menschen mit der realen Welt interagieren.

Abschließend noch eine Erinnerung: Wenn Sie dieses Open-Source-Projekt ausprobieren möchten, müssen Sie neben einem Vision Pro auch Folgendes vorbereiten:

Apple-Entwicklerkonto

Vision Pro-Entwicklergurt, Preis: 299 $)

Mac-Computer mit installiertem Xcode

Nun, es scheint, dass Apple immer noch zuerst einen Gewinn machen muss (Doge).

Projektlink:

https://github.com/Improbable-AI/VisionProTeleop?tab=readme-ov-file

Referenzlink:

https://twitter.com/younghyo_park/status/1766274298422161830

Das obige ist der detaillierte Inhalt vonTrainieren Sie Ihren Roboterhund in Echtzeit mit Vision Pro! Das Open-Source-Projekt eines MIT-Doktoranden ist beliebt. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!