Sambil memegang kain kasa dan menggenggam jarum, NVIDIA bekerjasama dengan banyak universiti untuk membangunkan robot pembedahan

Editor |. X

NVIDIA sedang bekerjasama dengan penyelidik akademik untuk mengkaji robot pembedahan.

NVIDIA bekerjasama dengan penyelidik dari Universiti Toronto, UC Berkeley, ETH Zurich, dan Institut Teknologi Georgia untuk membangunkan ORBIT-Surgical, rangka kerja simulasi untuk melatih robot yang meningkatkan kemahiran pasukan teknikal sambil mengurangkan beban kognisi pakar bedah. ORBIT-Surgical ialah rangka kerja simulasi berasaskan kecerdasan buatan yang mencapai simulasi pembedahan yang sangat realistik melalui persekitaran pembedahan maya dan sistem bimbingan pintar. Doktor boleh berinteraksi dengan sistem ini untuk mensimulasikan pelbagai situasi dan kerumitan pembedahan sebenar. Teknologi simulasi ini bukan sahaja membantu dengan latihan

" Diilhamkan oleh kursus latihan pembedahan laparoskopi (juga dikenali sebagai pembedahan invasif minima), ia menyokong lebih daripada sedozen operasi, seperti meraih objek kecil seperti jarum dan memindahkannya dari satu lengan ke tangan yang lain. lengan, dan letakkannya dengan ketepatan yang tinggi."

Rangka kerja berasaskan fizik dibina menggunakan NVIDIA Isaac Sim, platform simulasi untuk mereka bentuk, melatih dan menguji robot berasaskan AI.

Para penyelidik melatih algoritma pembelajaran pengukuhan dan pembelajaran tiruan pada GPU NVIDIA dan menggunakan NVIDIA Omniverse, platform untuk membangun dan menggunakan aplikasi 3D dan saluran paip lanjutan berdasarkan Penerangan Pemandangan Universal (OpenUSD), untuk mencapai pemaparan Fotorealistik fotorealisme.

ORBIT-Surgical akan dibentangkan di IEEE International Conference on Robotics and Automation (ICRA) 2024.

GitHub Kod sumber terbuka: https://orbit-surgical.github.io/

Alamat kertas: https://arxiv.org/abs/2404.16027

dalam video di bawah

-Pasukan penyelidik pembedahan menunjukkan cara melatih kembar digital dalam simulasi boleh dipindahkan ke robot fizikal dalam persekitaran makmal.

ORBIT-Pembedahan ialah rangka kerja modular untuk pembelajaran robot yang dibina pada Isaac Orbit. Orbit menyokong pelbagai perpustakaan pembelajaran tetulang dan pembelajaran tiruan, di mana ejen kecerdasan buatan dilatih untuk meniru demonstrasi pakar sebenar. Dengan menggunakan Orbit, pakar boleh mereka bentuk dan mengoptimumkan prosedur pembedahan dan menterjemahkannya ke dalam urutan operasi robotik yang boleh dilaksanakan. Konsep teras Isaac Orbit adalah untuk mengubah pengetahuan pakar kepada tingkah laku robot yang boleh dilaksanakan secara automatik. Sistem ini mengandungi komponen berikut: 1. Pengumpulan data: Gunakan pakar untuk melakukan pembedahan dan merekodkan operasi dan keputusan mereka untuk membina set data latihan. 2. Prapemprosesan data: Prapemprosesan dan pengkhususan data yang dikumpul

Rangka kerja pembedahan ini membolehkan pembangun melatih robot seperti Kit Penyelidikan da Vinci (dVRK) menggunakan robot yang dijalankan pada NVIDIA RTX GPUs Pembelajaran pengukuhan dan rangka kerja pembelajaran tiruan untuk memanipulasi objek tegar dan lembut .

ORBIT-Pembedahan memperkenalkan lebih daripada sedozen tugas penanda aras latihan pembedahan, termasuk tugasan dengan tangan sendiri seperti mengambil sekeping kain kasa, memasukkan shunt ke dalam saluran darah, atau menaikkan jarum jahitan ke lokasi tertentu. Ia juga termasuk tugas bimanual seperti menghantar jarum dari satu lengan ke tangan yang lain, memasukkan jarum berulir melalui batang bergelung dan mencapai kedua-dua lengan ke lokasi tertentu sambil mengelakkan halangan. 🎜

Salah satu penanda aras ORBIT-Surgical ialah pemasukan shunt (Robot dunia sebenar di sebelah kiri, simulasi di sebelah kanan.)

Dengan membangunkan pecutan simulator pembedahan yang memanfaatkan dan pecutan parallel GPU. pasukan dapat meningkatkan kelajuan pembelajaran robot dengan susunan magnitud berbanding rangka kerja pembedahan sedia ada. Mereka mendapati bahawa selepas latihan, kembar digital robotik itu boleh menyelesaikan tugas seperti memasukkan shunt dan mengangkat jarum jahitan dalam dua jam pada GPU NVIDIA RTX tunggal.

Dengan realisme visual yang didayakan oleh pemaparan Omniverse, ORBIT-Surgical juga membolehkan penyelidik menjana data sintetik ketelitian tinggi, yang membantu melatih model AI untuk melaksanakan tugas persepsi, seperti membahagikan alat pembedahan dalam video sebenar yang dirakam dalam bilik bedah.

Konsep bukti pasukan menunjukkan bahawa menggabungkan simulasi dan data dunia nyata dengan ketara meningkatkan ketepatan model kecerdasan buatan dalam membahagikan jarum pembedahan daripada imej, membantu mengurangkan keperluan untuk set data dunia sebenar yang besar dan mahal apabila melatih model sedemikian keperluan.

Kandungan rujukan: https://blogs.nvidia.com/blog/orbit-surgical-robotics-research-icra/

Atas ialah kandungan terperinci Sambil memegang kain kasa dan menggenggam jarum, NVIDIA bekerjasama dengan banyak universiti untuk membangunkan robot pembedahan. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!