Microsoft führt das KI-Modell LLaVA-Med zur Analyse medizinischer Pathologiefälle ein

Laut Nachrichten vom 14. Juni haben Microsoft-Forscher kürzlich das LLaVA-Med-Modell demonstriert, das hauptsächlich für die biomedizinische Forschung verwendet wird und anhand von CT, Röntgenbildern usw. auf den pathologischen Zustand von Patienten schließen kann.

Es wird berichtet, dass Microsoft-Forscher mit einer Gruppe von Krankenhäusern zusammengearbeitet und einen großen Datensatz erhalten haben, der biomedizinischem Bildtext entspricht, um ein multimodales KI-Modell zu trainieren. Der Datensatz umfasst Röntgenaufnahmen des Brustkorbs, MRT-Bilder, Histologie-, Pathologie- und CT-Bilder usw. mit relativ umfassender Abdeckung.

▲ Bildquelle Microsoft

Microsoft trainierte LLaVA-Med auf acht NVIDIA A100-GPUs mit GPT-4, basierend auf Vision Transformer und dem Vicuna-Sprachmodell, das „alle Voranalyseinformationen für jedes Bild“ enthält um Fragen und Antworten zu Bildern zu generieren, um der Vision eines Assistenten gerecht zu werden, der Fragen zu biomedizinischen Bildern in natürlicher Sprache beantworten kann.

Im Lernprozess konzentriert sich das Modell hauptsächlich auf die „Beschreibung des Inhalts solcher Bilder“ und die „Ausarbeitung biomedizinischer Konzepte (Anmerkung des IT-Hauses: Beurteilen, wie es anhand des Bildes aussieht)“. Laut Microsoft verfügt das Modell letztendlich über „hervorragende multimodale Dialogfähigkeiten“ und „bei drei standardmäßigen biomedizinischen Datensätzen, die zur Beantwortung visueller Fragen verwendet werden, ist LLaVA-Med in einigen Indikatoren führend gegenüber anderen fortschrittlichen Modellen in der Branche.“

▲ Bildquelle Microsoft

Das Forschungsteam sagte: „Obwohl wir glauben, dass das LLaVA-Med-Modell einen wichtigen Schritt zur Entwicklung nützlicher biomedizinischer Sehassistenten darstellt, gibt es immer noch gewisse Einschränkungen des aktuellen LLaVA-Med-Modells.“ Die Mängel sind häufige Probleme falscher Beispiele und schlechter Genauigkeit in großen Modellen. Das Forschungsteam wird sich in Zukunft darauf konzentrieren, die Qualität und Zuverlässigkeit des Modells zu verbessern, damit das Modell eines Tages in der kommerziellen Biomedizin angewendet werden kann Ich habe festgestellt, dass das Modell jetzt Open Source ist und Sie relevante Informationen auf GitHub finden können.

Das obige ist der detaillierte Inhalt vonMicrosoft führt das KI-Modell LLaVA-Med zur Analyse medizinischer Pathologiefälle ein. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!