Neue Studie: Medizinische KI ist bei der Beurteilung der Behandlungsergebnisse für neue Patienten mit Schizophrenie weniger genau

News vom 12. Januar: Eine neue Studie ergab, dass ein Computeralgorithmus, der Ärzten bei der Behandlung von Patienten mit Schizophrenie hilft, sich nicht gut an neue Daten anpasst, die im vorherigen Entwicklungsprozess nicht gesehen wurden. Infolgedessen schneidet diese Art medizinischer KI sehr schlecht ab, wenn es um die Bewertung der Behandlungsergebnisse für Patienten geht, denen sie noch nie ausgesetzt war.

Diese medizinischen Tools nutzen künstliche Intelligenz, um Merkmale in großen Datensätzen zu entdecken und individuelle Reaktionen auf bestimmte Behandlungen vorherzusagen, was den Kern der Präzisionsmedizin darstellt. Angehörige der Gesundheitsberufe hoffen, dieses Tool nutzen zu können, um die Behandlung auf jeden Patienten zuzuschneiden. In einem in der Fachzeitschrift Science veröffentlichten Artikel stellten die Forscher fest, dass das Modell der künstlichen Intelligenz die Behandlungsergebnisse für die in der Trainingsstichprobe enthaltenen Patienten mit einem hohen Maß an Genauigkeit vorhersagen könne. Beim Umgang mit zuvor nicht sichtbaren Patientendaten sank die Leistung des Modells jedoch erheblich und war nur geringfügig besser als bei zufälligen Schätzungen.

Um die Wirksamkeit der Präzisionsmedizin sicherzustellen, müssen Vorhersagemodelle unter verschiedenen Umständen eine stabile Genauigkeit aufrechterhalten und die Möglichkeit von Verzerrungen oder zufälligen Ergebnissen minimieren.

„Das ist ein großes Problem, das den Menschen noch nicht bewusst ist“, sagte der Co-Autor der Studie, Adam Chekroud, ein Psychiater an der Yale University in New Haven, Connecticut. „Diese Studie zeigt im Wesentlichen, dass Algorithmen immer noch an mehreren Proben getestet werden müssen.“

Genauigkeit der Algorithmen

Die Forscher bewerteten einen Algorithmus, der häufig in Vorhersagemodellen für Psychosen verwendet wird. Sie verwendeten Daten aus fünf klinischen Studien zu Antipsychotika mit 1.513 Freiwilligen, bei denen Schizophrenie in Nordamerika, Asien, Europa und Afrika diagnostiziert wurde. In den zwischen 2004 und 2009 durchgeführten Studien wurden die Symptome von Freiwilligen vor und vier Wochen nach der Einnahme eines von drei Antipsychotika gemessen.

Das Forschungsteam nutzte den Datensatz, um einen Algorithmus zu trainieren, um den Grad der Symptomverbesserung von Patienten nach vierwöchiger Behandlung mit Antipsychotika vorherzusagen. Zunächst testeten die Forscher die Genauigkeit des Algorithmus in Versuchen, in denen er entwickelt wurde, verglichen die Vorhersagen mit den in den Versuchen aufgezeichneten tatsächlichen Auswirkungen und stellten fest, dass die Genauigkeit hoch war.

Anschließend bewerteten sie mithilfe verschiedener Methoden, wie genau dieses KI-Modell neue Daten analysierte. Die Forscher trainierten das Modell anhand einer Teilmenge von Daten aus einer klinischen Studie und wandten es dann auf eine andere Teilmenge von Daten aus derselben Studie an. Sie trainieren den Algorithmus auch anhand aller Daten einer Studie oder einer Reihe von Versuchen und testen dann die Modellleistung anhand anderer Daten klinischer Studien.

Es wurde festgestellt, dass das KI-Modell in diesen Tests schlecht abschnitt, da die vom Modell erzeugten Vorhersagen bei der Anwendung auf untrainierte Datensätze nahezu zufällig zu sein schienen. Das Forschungsteam wiederholte das Experiment mit unterschiedlichen Vorhersagealgorithmen, kam jedoch zu ähnlichen Ergebnissen.

Bessere Tests

Die Autoren der Studie sagten, ihre Ergebnisse verdeutlichen, wie klinische Vorhersagemodelle anhand großer Datensätze gründlich getestet werden sollten, um ihre Zuverlässigkeit sicherzustellen. Eine systematische Überprüfung von 308 klinischen Vorhersagemodellen für psychiatrische Ergebnisse ergab, dass nur etwa 20 % der Modelle anhand anderer Datensätze als der für die Entwicklung verwendeten Stichprobe validiert wurden.

„Wir sollten über die Modellentwicklung eher wie über die Entwicklung von Medikamenten nachdenken“, sagte Chekrud. Er erklärte, dass viele Medikamente in frühen klinischen Studien gut funktionieren, in späteren Stadien jedoch Probleme auftreten. „Wir müssen uns strikt an die Prinzipien halten, wie diese Algorithmen entwickelt und getestet werden. Wir können es nicht nur einmal tun und denken, dass es wahr ist.“

Das obige ist der detaillierte Inhalt vonNeue Studie: Medizinische KI ist bei der Beurteilung der Behandlungsergebnisse für neue Patienten mit Schizophrenie weniger genau. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!