거즈를 잡고 바늘을 잡는 NVIDIA는 여러 대학과 협력하여 수술 로봇을 개발합니다.

Editor | X

NVIDIA는 학계 연구진과 협력하여 수술용 로봇을 연구하고 있습니다.

NVIDIA는 토론토 대학, UC 버클리 대학, ETH Zurich 및 Georgia Institute of Technology의 연구원들과 협력하여 외과 의사의 인지 부담을 줄이면서 기술 팀의 기술을 향상시키는 로봇 훈련용 시뮬레이션 프레임워크인 ORBIT-Surgical을 개발했습니다. ORBIT-Surgical은 가상 수술 환경과 지능형 코칭 시스템을 통해 매우 사실적인 수술 시뮬레이션을 구현하는 인공지능 기반 시뮬레이션 프레임워크입니다. 의사는 이 시스템과 상호 작용하여 실제 수술의 다양한 상황과 복잡성을 시뮬레이션할 수 있습니다. 이 시뮬레이션 기술은 훈련에만 도움이 되는 것이 아닙니다

" 복강경 수술(최소 침습 수술이라고도 함) 교육 과정에서 영감을 받아 바늘과 같은 작은 물체를 잡고 한 팔에서 다른 팔로 전달하는 등 12가지 이상의 수술을 지원합니다.

물리 기반 프레임워크는 AI 기반 로봇을 설계, 훈련, 테스트하기 위한 시뮬레이션 플랫폼인 NVIDIA Isaac Sim을 사용하여 구축되었습니다.

연구원들은 NVIDIA GPU에서 강화 학습 및 모방 학습 알고리즘을 훈련하고 Universal Scene Description(OpenUSD)을 기반으로 고급 3D 애플리케이션 및 파이프라인을 개발 및 배포하기 위한 플랫폼인 NVIDIA Omniverse를 사용하여 사실적인 사실적인 렌더링을 달성합니다.

ORBIT-Surgical은 IEEE International Conference on Robotics and Automation(ICRA) 2024에서 발표될 예정입니다.

GitHub 오픈 소스 코드: https://orbit-surgical.github.io/

논문 주소: https://arxiv.org/abs/2404.16027

아래 영상에서 ORBIT -외과 연구팀은 시뮬레이션에서 디지털 트윈 교육이 실험실 환경의 실제 로봇으로 어떻게 전환될 수 있는지 보여줍니다.

ORBIT-Surgical은 Isaac Orbit을 기반으로 구축된 로봇 학습을 위한 모듈식 프레임워크입니다. Orbit은 인공지능 에이전트가 실제 전문가 시연을 모방하도록 훈련되는 다양한 강화 학습 및 모방 학습 라이브러리를 지원합니다. 전문가는 Orbit을 사용하여 수술 절차를 설계 및 최적화하고 이를 실행 가능한 로봇 수술 시퀀스로 변환할 수 있습니다. Isaac Orbit의 핵심 개념은 전문 지식을 자동으로 실행할 수 있는 로봇 행동으로 변환하는 것입니다. 시스템에는 다음 구성 요소가 포함되어 있습니다. 1. 데이터 수집: 전문가를 활용하여 수술을 수행하고 수술 및 결정을 기록하여 훈련 데이터 세트를 구축합니다. 2. 데이터 전처리: 수집된 데이터를 전처리하고 전문화합니다.

이 수술 프레임워크를 통해 개발자는 NVIDIA RTX GPU에서 실행되는 로봇을 사용하여 da Vinci Research Kit(dVRK)와 같은 로봇을 훈련할 수 있습니다. 강하고 부드러운 물체를 조작하기 위한 강화 학습 및 모방 학습 프레임워크 .

ORBIT-Surgical은 거즈 집기, 션트를 혈관에 삽입하기, 봉합사 바늘을 특정 위치로 올리기 등 한 손 작업을 포함하여 12가지 이상의 수술 훈련 벤치마크 작업을 소개합니다. 또한 한 팔에서 다른 팔로 바늘을 통과시키고, 고리 막대를 통해 실이 있는 바늘을 끼우고, 장애물을 피하면서 두 팔을 특정 위치에 도달하는 등의 양손 작업도 포함됩니다.

ORBIT-Surgical의 벤치마크 중 하나는 션트 삽입입니다(왼쪽은 실제 로봇, 오른쪽은 시뮬레이션).

GPU 가속 및 병렬화를 활용하는 수술 시뮬레이터를 개발함으로써, 팀은 기존 수술 프레임워크에 비해 로봇의 학습 속도를 10배 향상할 수 있었습니다. 그들은 훈련 후 로봇 디지털 트윈이 단일 NVIDIA RTX GPU에서 션트 삽입, 봉합사 바늘 들어올리기 등의 작업을 2시간 만에 완료할 수 있다는 사실을 발견했습니다.

Omniverse 렌더링을 통해 구현된 시각적 사실성을 통해 ORBIT-Surgical을 통해 연구원들은 충실도가 높은 합성 데이터를 생성할 수 있으며, 이는 수술실에서 캡처한 실제 비디오에서 수술 도구를 분할하는 등의 인식 작업을 수행하도록 AI 모델을 훈련하는 데 도움이 됩니다.

팀의 개념 증명은 시뮬레이션 데이터와 실제 데이터를 결합하면 이미지에서 수술용 바늘을 분할하는 인공 지능 모델의 정확도가 크게 향상되어 이러한 모델을 훈련할 때 크고 값비싼 실제 데이터 세트의 필요성을 줄이는 데 도움이 된다는 것을 보여줍니다. 필요합니다.

참고 콘텐츠: https://blogs.nvidia.com/blog/orbit-surgical-robotics-research-icra/

위 내용은 거즈를 잡고 바늘을 잡는 NVIDIA는 여러 대학과 협력하여 수술 로봇을 개발합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!