Nouvelle étude : l'IA médicale est moins précise pour évaluer les résultats du traitement des nouveaux patients atteints de schizophrénie

Le 12 janvier, une nouvelle étude a révélé qu'un algorithme informatique utilisé pour aider les médecins à traiter les patients atteints de schizophrénie ne s'adapte pas bien aux nouvelles données qui n'ont pas été vues lors du processus de développement précédent. En conséquence, ce type d’IA médicale est très peu performant lorsqu’il s’agit d’évaluer les résultats d’un traitement pour des patients auxquels elle n’a jamais été exposé.

Ces outils médicaux utilisent l'intelligence artificielle pour découvrir des caractéristiques dans de grands ensembles de données et prédire les réponses individuelles à des traitements spécifiques, ce qui est au cœur de la médecine de précision. Les professionnels de santé espèrent utiliser cet outil pour adapter le traitement à chaque patient. Dans un article publié dans la revue Science, les chercheurs ont noté que le modèle d’intelligence artificielle pouvait prédire avec un haut degré de précision les résultats du traitement pour les patients inclus dans l’échantillon de formation. Cependant, lorsqu'il s'agit de données de patients inédites, les performances du modèle ont chuté de manière significative, pour s'établir à peine à un niveau légèrement supérieur à celui des estimations aléatoires.

Pour garantir l'efficacité de la médecine de précision, les modèles prédictifs doivent maintenir une précision stable dans différentes circonstances et minimiser les risques de biais ou de résultats aléatoires.

"C'est un gros problème dont les gens ne se rendent pas encore compte", a déclaré Adam Chekroud, co-auteur de l'étude, psychiatre à l'Université de Yale à New Haven, Connecticut. « Cette étude démontre essentiellement que les algorithmes doivent encore être testés sur plusieurs échantillons. »

Précision des algorithmes

Les chercheurs ont évalué un algorithme couramment utilisé dans les modèles prédictifs de psychose. Ils ont utilisé les données de cinq essais cliniques antipsychotiques impliquant 1 513 volontaires diagnostiqués avec la schizophrénie en Amérique du Nord, en Asie, en Europe et en Afrique. Les essais, menés entre 2004 et 2009, ont mesuré les symptômes des volontaires avant et quatre semaines après la prise de l'un des trois médicaments antipsychotiques.

L'équipe de recherche a utilisé l'ensemble de données pour entraîner un algorithme permettant de prédire le degré d'amélioration des symptômes des patients après quatre semaines de traitement par antipsychotiques. Premièrement, les chercheurs ont testé la précision de l’algorithme dans les essais au cours desquels il a été développé, en comparant les prédictions avec les effets réels enregistrés dans les essais et ont constaté que la précision était élevée.

Ils ont ensuite utilisé diverses méthodes pour évaluer la précision avec laquelle ce modèle d'IA analysait les nouvelles données. Les chercheurs ont formé le modèle sur un sous-ensemble de données d’un essai clinique, puis l’ont appliqué à un autre sous-ensemble de données du même essai. Ils entraînent également l’algorithme sur toutes les données d’un essai ou d’un ensemble d’essais, puis testent les performances du modèle sur d’autres données d’essais cliniques.

Il a été constaté que le modèle d'IA fonctionnait mal lors de ces tests, les prédictions produites par le modèle semblant presque aléatoires lorsqu'elles étaient appliquées à des ensembles de données non entraînés. L’équipe de recherche a répété l’expérience en utilisant différents algorithmes de prédiction, mais a obtenu des résultats similaires.

De meilleurs tests

Les auteurs de l’étude ont déclaré que leurs résultats mettent en évidence la manière dont les modèles de prédiction clinique doivent être rigoureusement testés sur de grands ensembles de données pour garantir leur fiabilité. Un examen systématique de 308 modèles de prédiction clinique des résultats psychiatriques a révélé que seulement 20 % environ des modèles étaient validés sur des ensembles de données autres que l'échantillon utilisé pour le développement.

« Nous devrions penser au développement de modèles davantage comme au développement de médicaments », a déclaré Chekrud. Il a expliqué que de nombreux médicaments donnent de bons résultats lors des premiers essais cliniques, mais rencontrent des problèmes aux stades ultérieurs. "Nous devons strictement respecter les principes sur la façon de développer et de tester ces algorithmes. Nous ne pouvons pas le faire une seule fois et penser que c'est vrai" (Chenchen)

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!