ガーゼを持ち、針をつかむNVIDIA、多くの大学と協力して手術ロボットを開発

編集者 | X

NVIDIA は学術研究者と協力して手術ロボットの研究を行っています。

NVIDIA は、トロント大学、カリフォルニア大学バークレー校、チューリッヒ工科大学、ジョージア工科大学の研究者と協力して、外科医の認知負担を軽減しながら技術チームのスキルを向上させるロボット訓練用のシミュレーション フレームワークである ORBIT-Surgical を開発しました。 ORBIT-Surgical は、仮想手術環境とインテリジェントなコーチング システムを通じて、非常に現実的な手術シミュレーションを実現する人工知能ベースのシミュレーション フレームワークです。医師はこのシステムを操作して、実際の手術のさまざまな状況や複雑さをシミュレートできます。このシミュレーション技術はトレーニングに役立つだけではありません

」

物理ベースのフレームワークは、AI ベースのロボットを設計、トレーニング、テストするためのシミュレーション プラットフォームである NVIDIA Isaac Sim を使用して構築されました。

研究者は、NVIDIA GPU で強化学習および模倣学習アルゴリズムをトレーニングし、ユニバーサル シーン記述 (OpenUSD) に基づいた高度な 3D アプリケーションとパイプラインを開発および展開するためのプラットフォームである NVIDIA Omniverse を使用して、フォトリアリズム フォトリアリスティック レンダリングを実現します。

ORBIT-Surgical は、IEEE ロボティクスとオートメーションに関する国際会議 (ICRA) 2024 で発表されます。

GitHub オープンソースコード: https://orbit-surgical.github.io/

ペーパーアドレス: https://arxiv.org/abs/2404.16027

以下のビデオでは、ORBIT -外科研究チームは、シミュレーションでトレーニングしたデジタル ツインを実験室環境の物理ロボットにどのように転送できるかを実証します。

ORBIT-Surgical は、Isaac Orbit 上に構築されたロボット学習用のモジュール式フレームワークです。 Orbit は、人工知能エージェントが実際の専門家のデモンストレーションを模倣するように訓練される、さまざまな強化学習および模倣学習ライブラリをサポートしています。 Orbit を使用することで、専門家は外科手術手順を設計および最適化し、実行可能な一連のロボット操作に変換できます。 Isaac Orbit の中核となるコンセプトは、専門知識を自動的に実行できるロボットの動作に変換することです。システムには次のコンポーネントが含まれています。 1. データ収集: 専門家を利用して手術を実行し、その操作と決定を記録してトレーニング データ セットを構築します。 2. データ前処理: 収集されたデータを前処理して特殊化します

この外科用フレームワークを使用すると、開発者は、剛体および軟体を操作するための強化学習および模倣学習フレームワークを使用して、ダ ヴィンチ リサーチ キット (dVRK) などのロボットをトレーニングできます。

ORBIT-Surgical では、ガーゼを拾い上げる、血管にシャントを挿入する、縫合針を特定の位置まで持ち上げるなどの片手タスクを含む、十数種類の外科トレーニング ベンチマーク タスクを導入しています。また、一方の腕からもう一方の腕に針を通す、ループ状のロッドに糸を通した針を通す、障害物を避けながら両腕を特定の場所に到達させるなどの両手作業も含まれます。

ORBIT-Surgical のベンチマークの 1 つは、シャントの挿入です (左側が現実世界のロボット、右側がシミュレーション)。

GPU アクセラレーションと並列化を活用した手術シミュレーターを開発することで、研究チームは、既存の手術フレームワークに比べてロボットの学習速度を一桁向上させることができました。彼らは、トレーニング後、ロボット デジタル ツインが単一の NVIDIA RTX GPU でシャントの挿入や縫合針の引き上げなどのタスクを 2 時間で完了できることを発見しました。

Omniverse レンダリングによって視覚的なリアリズムが可能になるため、ORBIT-Surgical を使用すると、研究者は高忠実度の合成データを生成することもできます。これは、手術室で撮影された実際のビデオで手術ツールをセグメント化するなど、知覚タスクを実行するように AI モデルをトレーニングするのに役立ちます。

チームの概念実証は、シミュレートされたデータと実世界のデータを組み合わせることで、画像から手術針をセグメント化する際の人工知能モデルの精度が大幅に向上し、そのようなモデルをトレーニングする際に大規模で高価な実世界のデータセットの必要性を軽減できることを示しています。ニーズ。

参考コンテンツ:https://blogs.nvidia.com/blog/orbit-surgical-robotics-research-icra/

以上がガーゼを持ち、針をつかむNVIDIA、多くの大学と協力して手術ロボットを開発の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。