Tenant de la gaze et saisissant des aiguilles, NVIDIA coopère avec de nombreuses universités pour développer des robots chirurgicaux

Editeur | X

NVIDIA travaille avec des chercheurs universitaires pour étudier les robots chirurgicaux.

NVIDIA s'est associé à des chercheurs de l'Université de Toronto, de l'UC Berkeley, de l'ETH Zurich et du Georgia Institute of Technology pour développer ORBIT-Surgical, un cadre de simulation pour la formation des robots qui améliore les compétences des équipes techniques tout en réduisant la charge cognitive des chirurgiens. ORBIT-Surgical est un cadre de simulation basé sur l'intelligence artificielle qui permet une simulation chirurgicale très réaliste grâce à un environnement chirurgical virtuel et un système de coaching intelligent. Les médecins peuvent interagir avec ce système pour simuler les différentes situations et complexités d’interventions chirurgicales réelles. Cette technologie de simulation n'aide pas seulement à la formation

" Inspirée des formations en chirurgie laparoscopique (également appelée chirurgie mini-invasive), elle prend en charge plus d'une douzaine d'opérations, comme saisir de petits objets comme des aiguilles et les passer d'un bras à l'autre. bras et placez-les avec une haute précision.

Les chercheurs entraînent des algorithmes d'apprentissage par renforcement et d'apprentissage par imitation sur les GPU NVIDIA et utilisent NVIDIA Omniverse, une plate-forme de développement et de déploiement d'applications et de pipelines 3D avancés basés sur Universal Scene Description (OpenUSD), pour obtenir un rendu photoréaliste photoréaliste.

ORBIT-Surgical sera présenté à la Conférence internationale de l'IEEE sur la robotique et l'automatisation (ICRA) 2024.

GitHub Code open source :

https://orbit-surgical.github.io/

Adresse papier :

https://arxiv.org/abs/2404.16027

Dans la vidéo ci-dessous, ORBIT -Une équipe de recherche chirurgicale démontre comment la formation d'un jumeau numérique en simulation peut être transférée à un robot physique dans un environnement de laboratoire.

ORBIT-Surgical est un cadre modulaire pour l'apprentissage des robots construit sur Isaac Orbit. Orbit prend en charge diverses bibliothèques d'apprentissage par renforcement et d'apprentissage par imitation, dans lesquelles les agents d'intelligence artificielle sont formés pour imiter de véritables démonstrations d'experts. En utilisant Orbit, les experts peuvent concevoir et optimiser des procédures chirurgicales et les traduire en séquences exécutables d'opérations robotiques. Le concept central d’Isaac Orbit est de transformer les connaissances expertes en comportements robotiques pouvant être exécutés automatiquement. Le système contient les composants suivants : 1. Collecte de données : faites appel à des experts pour effectuer des interventions chirurgicales et enregistrer leurs opérations et décisions afin de créer un ensemble de données de formation. 2. Prétraitement des données : prétraiter et spécialiser les données collectées

Ce cadre chirurgical permet aux développeurs de former des robots tels que le da Vinci Research Kit (dVRK) à l'aide de robots fonctionnant sur des GPU NVIDIA RTX. Cadres d'apprentissage par renforcement et d'apprentissage par imitation pour manipuler des objets rigides et mous. .

ORBIT-Surgical présente plus d'une douzaine de tâches de référence en matière de formation chirurgicale, y compris des tâches à une seule main telles que ramasser un morceau de gaze, insérer un shunt dans un vaisseau sanguin ou lever une aiguille de suture jusqu'à un endroit spécifique. Cela comprend également des tâches bimanuelles telles que passer une aiguille d'un bras à l'autre, enfiler une aiguille enfilée dans une tige en boucle et atteindre les deux bras à des endroits spécifiques tout en évitant les obstacles.

L'une des références d'ORBIT-Surgical est l'insertion d'un shunt (Robot du monde réel à gauche, simulation à droite.)

En développant un simulateur chirurgical qui exploite l'accélération et la parallélisation GPU, le L'équipe a pu améliorer la vitesse d'apprentissage du robot d'un ordre de grandeur par rapport aux cadres chirurgicaux existants. Ils ont découvert qu'après la formation, le jumeau numérique robotique pouvait effectuer des tâches telles que l'insertion d'un shunt et le levage d'une aiguille de suture en deux heures sur un seul GPU NVIDIA RTX.

Grâce au réalisme visuel permis par le rendu Omniverse, ORBIT-Surgical permet également aux chercheurs de générer des données synthétiques haute fidélité, ce qui aide à former des modèles d'IA à effectuer des tâches de perception, telles que la segmentation d'outils chirurgicaux dans de vraies vidéos capturées dans la salle d'opération.

La validation de principe de l'équipe montre que la combinaison de données simulées et réelles améliore considérablement la précision des modèles d'intelligence artificielle dans la segmentation des aiguilles chirurgicales à partir d'images, contribuant ainsi à réduire le besoin d'ensembles de données volumineux et coûteux du monde réel lors de la formation de tels modèles. besoins.

Contenu de référence : https://blogs.nvidia.com/blog/orbit-surgical-robotics-research-icra/

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!