拿纱布、抓针头，英伟达与多所高校合作，开发手术机器人

编辑 | X

英伟达（NVIDIA）正与学术研究人员合作，研究手术机器人。

NVIDIA 联合多伦多大学、加州大学伯克利分校、苏黎世联邦理工学院和佐治亚理工学院的研究人员开发了 ORBIT-Surgical，一个训练机器人的模拟框架，可以提高技术团队的技能，同时减少外科医生的认知负担。 ORBIT-Surgical 是一种基于人工智能的模拟框架，通过虚拟手术环境和智能教练系统，实现了高度真实的手术模拟。医生可以通过与这个系统进行互动，模拟真实手术的各种情况和复杂性。这种模拟技术不仅可以帮助培训

“受腹腔镜手术（又称微创手术）训练课程的启发，它支持十多种操作，比如抓住像针头这样的小物体，从一只手臂传递到另一只手臂，并高精度地放置它们。”

基于物理的框架是使用NVIDIA Isaac Sim构建的，这是一个用于设计、训练和测试基于AI的机器人的模拟平台。

研究人员在NVIDIA GPU上进行训练强化学习和模仿学习算法，并使用NVIDIA Omniverse——一个用于开发和部署基于通用场景描述（OpenUSD）的高级3D应用程序和管道的平台，来实现照片级真实感渲染。

ORBIT-Surgical 将在 IEEE 国际机器人与自动化会议 (ICRA) 2024 上发表。

GitHub 开源代码：https://orbit-surgical.github.io/

论文地址：https://arxiv.org/abs/2404.16027

在下面的视频中，ORBIT-Surgical研究团队演示了如何在模拟中训练数字孪生转移至实验室环境中的物理机器人。

ORBIT-Surgical是一个基于Isaac Orbit构建的机器人学习模块化框架。Orbit支持各种强化学习和模仿学习库，其中人工智能代理经过训练可以模仿真实的专家示范。通过使用Orbit，专家可以设计并优化手术程序，并将其转化为可执行的机器人操作序列。 Isaac Orbit的核心理念是将专家知识转化为可以自动执行的机器人行为。该系统包含以下组件： 1. 数据采集：使用专家进行手术，并记录其操作过程和决策，以构建训练数据集。 2. 数据预处理：对采集到的数据进行预处理和特

该手术框架使开发人员能够训练达芬奇研究套件（da Vinci Research Kit，dVRK）等机器人，使用在 NVIDIA RTX GPU 上运行的强化学习和模仿学习框架来操纵刚性和软物体。

ORBIT-Surgical 引入了十多项外科训练基准任务，包括单手任务，例如拿起一块纱布、将分流器插入血管或将缝合针举到特定位置。它还包括双手任务，例如将针从一只手臂递到另一只手臂，将螺纹针穿过环形杆，以及将两只手臂伸到特定位置，同时避开障碍物。

ORBIT-Surgical 的基准测试之一是插入分流器（ 左图为现实世界的机器人，右图为模拟图。） 

通过开发利用GPU 加速和并行化的手术模拟器，该团队能够将机器人的学习速度比现有手术框架提高一个数量级。他们发现，经过训练，机器人数字孪生可以在单个 NVIDIA RTX GPU 上在两小时内完成插入分流器和提起缝合针等任务。

借助Omniverse 渲染实现的视觉真实感，ORBIT-Surgical 还允许研究人员生成高保真合成数据，这有助于训练AI 模型执行感知任务，例如在手术室捕获的真实视频中分割手术工具。

该团队的概念验证表明，将模拟和真实数据相结合显着提高了人工智能模型从图像中分割手术针的准确性，有助于减少训练此类模型时对大型、昂贵的现实数据集的需求。

参考内容：https://blogs.nvidia.com/blog/orbit-surgical-robotics-research-icra/

以上是拿纱布、抓针头，英伟达与多所高校合作，开发手术机器人的详细内容。更多信息请关注PHP中文网其他相关文章！