Microsoft、医療病理症例を分析するための LLaVA-Med AI モデルを発表

6 月 14 日のニュースによると、マイクロソフトの研究者は最近、主に生物医学研究に使用され、CT や X 線写真などに基づいて患者の病理学的状態を推測できる LLaVA-Med モデルを実証しました。

マイクロソフトの研究者が病院グループと協力し、マルチモーダル AI モデルをトレーニングするために生物医学画像テキストに対応する大規模なデータ セットを取得したと報告されています。データセットには胸部 X 線、MRI、組織学、病理学、CT 画像などが含まれており、比較的包括的にカバーされています。

▲ 画像ソース Microsoft

Microsoft は、Vision Transformer と Vicuna 言語モデルに基づく GPT-4 を使用して、8 つの NVIDIA A100 GPU で LLaVA-Med を実行します「各画像のすべての事前分析情報」を含めるようにトレーニングされており、画像に関する質問と回答を生成するために使用され、「生物医学画像に関する質問に自然言語で答える」アシスタントのビジョンを満たしています。

学習プロセスにおいて、モデルは主に「そのような画像の内容を記述する」ことと「生物医学的概念を詳しく説明する(ITハウス注:画像からどのように見えるか判断してください)」ことに焦点を当てています。 マイクロソフトによると、このモデルは最終的に「優れたマルチモーダル対話機能」を備えており、「視覚的な質問に答えるために使用される 3 つの標準的な生物医学データセットにおいて、LLaVA-Med はいくつかの指標において業界の他の先進的なモデルをリードしています。」

▲ 画像出典 Microsoft

研究チームは次のように述べています。これは重要なステップですが、現在の LLaVA-Med モデルには依然としていくつかの欠点があります。すなわち、誤った例がよく見られる問題や、大規模なモデルでの精度の低さです。研究チームは、将来、モデルの品質と信頼性の向上に焦点を当てて、モデルはいつか商業生物医学に応用できるようになるでしょう。」

IT House は、このモデルがオープンソースになっていることに気づき、関連情報を GitHub で見つけることができます。

以上がMicrosoft、医療病理症例を分析するための LLaVA-Med AI モデルを発表の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。