NVIDIA hält Mull und Greifnadeln in der Hand und arbeitet mit vielen Universitäten zusammen, um chirurgische Roboter zu entwickeln

Herausgeber |. X

NVIDIA arbeitet mit akademischen Forschern zusammen, um chirurgische Roboter zu untersuchen.

NVIDIA hat sich mit Forschern der University of Toronto, der UC Berkeley, der ETH Zürich und des Georgia Institute of Technology zusammengetan, um ORBIT-Surgical zu entwickeln, ein Simulationsframework für das Training von Robotern, das die Fähigkeiten technischer Teams verbessert und gleichzeitig die kognitive Belastung des Chirurgen verringert. ORBIT-Surgical ist ein auf künstlicher Intelligenz basierendes Simulationsframework, das durch eine virtuelle Operationsumgebung und ein intelligentes Coaching-System eine äußerst realistische chirurgische Simulation erreicht. Ärzte können mit diesem System interagieren, um die verschiedenen Situationen und Komplexitäten realer Operationen zu simulieren. Diese Simulationstechnologie hilft nicht nur beim Training

“ Inspiriert von Schulungskursen zur laparoskopischen Chirurgie (auch bekannt als minimal-invasive Chirurgie), unterstützt sie mehr als ein Dutzend Operationen, wie zum Beispiel das Ergreifen kleiner Gegenstände wie Nadeln und deren Weitergabe von einem Arm zum anderen Arm und platzieren Sie sie mit hoher Präzision.“

Das physikbasierte Framework wurde mit NVIDIA Isaac Sim erstellt, einer Simulationsplattform zum Entwerfen, Trainieren und Testen KI-basierter Roboter.

Forscher trainieren Reinforcement-Learning- und Imitation-Learning-Algorithmen auf NVIDIA-GPUs und nutzen NVIDIA Omniverse, eine Plattform zur Entwicklung und Bereitstellung fortschrittlicher 3D-Anwendungen und Pipelines basierend auf der Universal Scene Description (OpenUSD), um fotorealistisches Rendering zu erreichen.

ORBIT-Surgical wird auf der IEEE International Conference on Robotics and Automation (ICRA) 2024 vorgestellt.

GitHub Open-Source-Code: https://orbit-surgical.github.io/

Papieradresse: https://arxiv.org/abs/2404.16027

Im Video unten: ORBIT – Ein chirurgisches Forschungsteam demonstriert, wie das Training eines digitalen Zwillings in der Simulation auf einen physischen Roboter in einer Laborumgebung übertragen werden kann.

ORBIT-Surgical ist ein modulares Framework für Roboterlernen, das auf Isaac Orbit basiert. Orbit unterstützt verschiedene Bibliotheken für Reinforcement Learning und Imitation Learning, in denen Agenten künstlicher Intelligenz darauf trainiert werden, echte Expertendemonstrationen nachzuahmen. Durch den Einsatz von Orbit können Experten chirurgische Verfahren entwerfen und optimieren und sie in ausführbare Sequenzen von Roboteroperationen umsetzen. Das Kernkonzept von Isaac Orbit besteht darin, Expertenwissen in Roboterverhalten umzuwandeln, das automatisch ausgeführt werden kann. Das System enthält folgende Komponenten: 1. Datenerfassung: Nutzen Sie Experten, um Operationen durchzuführen und ihre Operationen und Entscheidungen aufzuzeichnen, um einen Trainingsdatensatz zu erstellen. 2. Datenvorverarbeitung: Vorverarbeiten und Spezialisieren der gesammelten Daten

Dieses chirurgische Framework ermöglicht es Entwicklern, Roboter wie das da Vinci Research Kit (dVRK) mithilfe von Robotern zu trainieren, die auf NVIDIA RTX-GPUs laufen. Reinforcement-Learning- und Imitations-Learning-Frameworks für die Manipulation starrer und weicher Objekte .

ORBIT-Surgical stellt mehr als ein Dutzend Benchmark-Aufgaben für die chirurgische Ausbildung vor, darunter einhändige Aufgaben wie das Aufnehmen eines Stücks Gaze, das Einführen eines Shunts in ein Blutgefäß oder das Anheben einer Nahtnadel an eine bestimmte Stelle. Dazu gehören auch bimanuelle Aufgaben wie das Überführen einer Nadel von einem Arm zum anderen, das Einfädeln einer Fadennadel durch eine Schlingenstange und das Erreichen beider Arme an bestimmte Stellen unter Vermeidung von Hindernissen.

Einer der Benchmarks von ORBIT-Surgical ist das Einsetzen eines Shunts (realer Roboter links, Simulation rechts).

Durch die Entwicklung eines chirurgischen Simulators, der GPU-Beschleunigung und -Parallelisierung nutzt, wird der Das Team konnte die Lerngeschwindigkeit des Roboters im Vergleich zu bestehenden chirurgischen Frameworks um eine Größenordnung verbessern. Sie fanden heraus, dass der digitale Roboterzwilling nach dem Training Aufgaben wie das Einsetzen eines Shunts und das Anheben einer Nahtnadel in zwei Stunden auf einer einzigen NVIDIA RTX-GPU erledigen konnte.

Dank des durch Omniverse-Rendering ermöglichten visuellen Realismus ermöglicht ORBIT-Surgical Forschern auch die Generierung hochpräziser synthetischer Daten, die dabei helfen, KI-Modelle für die Durchführung von Wahrnehmungsaufgaben zu trainieren, wie etwa das Segmentieren chirurgischer Instrumente in realen Videos, die im Operationssaal aufgenommen wurden.

Der Proof-of-Concept des Teams zeigt, dass die Kombination simulierter und realer Daten die Genauigkeit von Modellen der künstlichen Intelligenz bei der Segmentierung chirurgischer Nadeln aus Bildern erheblich verbessert und dazu beiträgt, den Bedarf an großen, teuren realen Datensätzen beim Training solcher Modelle zu reduzieren Bedürfnisse.

Referenzinhalt: https://blogs.nvidia.com/blog/orbit-surgical-robotics-research-icra/

Das obige ist der detaillierte Inhalt vonNVIDIA hält Mull und Greifnadeln in der Hand und arbeitet mit vielen Universitäten zusammen, um chirurgische Roboter zu entwickeln. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!