Comment pouvons-nous garantir que l’IA dans le domaine de la santé est utile ?

Dans le grand schéma du secteur des soins de santé, les modèles prédictifs jouent le même rôle que les analyses de sang, les radiographies ou les IRM : ils influencent les décisions quant à l'opportunité d'une intervention.

« D'une manière générale, les modèles effectuent des opérations mathématiques et produisent des estimations de probabilité qui aident les médecins et les patients à décider d'agir ou non », a déclaré Nigam Shah, scientifique en chef des données à Stanford Healthcare et membre du corps professoral de Stanford HAI. Mais ces estimations de probabilité ne sont utiles aux prestataires de soins de santé que si elles déclenchent des décisions plus bénéfiques.

« En tant que communauté, je pense que nous sommes obsédés par les performances du modèle, plutôt que de nous demander si ce modèle fonctionne ? » « Nous devons sortir des sentiers battus. »

L’équipe de Shah est l’un des rares groupes de recherche en soins de santé à évaluer si les hôpitaux ont la capacité de réaliser des interventions basées sur le modèle et si les interventions seront bénéfiques aux patients et aux organismes de santé.

« On craint de plus en plus que les chercheurs en IA construisent des modèles à gauche et à droite sans rien déployer », a déclaré Shah. L’une des raisons à cela est l’incapacité des modélisateurs à mener des analyses d’utilité montrant comment les interventions déclenchées par le modèle peuvent être intégrées de manière rentable aux opérations hospitalières tout en causant plus de mal que de bien. ""Si les développeurs de modèles sont prêts à prendre le temps d'effectuer cette analyse supplémentaire, les hôpitaux y prêteront attention. » a-t-il déclaré.

Shah a déclaré que des outils d'analyse de l'utilité existent déjà dans les domaines de la recherche opérationnelle, de la politique des soins de santé et de l'économétrie, mais que les développeurs de modèles dans le domaine des soins de santé ont mis du temps à les utiliser. publié pour changer cet état d'esprit, exhortant davantage de personnes à évaluer l'utilité de leurs modèles. Il s'agit notamment d'un article du JAMA qui aborde la nécessité pour les modélisateurs de prendre en compte l'utilité, et d'un document de recherche qui présente un cadre pour analyser l'utilité des modèles prédictifs dans les soins de santé et. montre comment cela fonctionne à l'aide d'exemples concrets

« Comme tout ce qu'un hôpital pourrait ajouter à ses opérations, il faut déployer de nouveaux modèles. Cela doit en valoir la peine », a déclaré Shah. « Des cadres matures sont en place pour déterminer la valeur du système. modèle. Il est maintenant temps pour les modélistes de les mettre à profit. ”

Comprendre l'interaction entre le modèle, l'intervention, ainsi que les avantages et les inconvénients de l'intervention

Comme le montre la figure ci-dessus, l'utilité d'un modèle dépend de l'interaction entre le modèle, l'intervention qu'il déclenche , et les avantages et les inconvénients de l'intervention, a déclaré Shah

Premièrement, Ce modèle - qui retient souvent le plus d'attention - devrait être efficace pour prédire tout ce qu'il est censé prédire, qu'il s'agisse du risque de réadmission d'un patient ou de développer un diabète. , a déclaré Shah. Doit être juste, ce qui signifie que les prédictions qu'il génère s'appliquent également à toutes les personnes, sans distinction de race, d'origine ethnique, d'origine nationale ou de sexe, et doivent être généralisables d'un site hospitalier à un autre], ou au moins à l'hôpital local ; population pour produire des prédictions fiables ; en outre, elles doivent être interprétables.

Deuxièmement, les organisations de soins de santé doivent élaborer des politiques sur le moment et la manière d'intervenir en fonction du test ou du modèle, et des décisions sur qui est responsable de l'intervention. la capacité (suffisamment de personnel, de matériel ou d'autres ressources) pour intervenir

Avoir des politiques indiquant si ou comment intervenir de manière spécifique affecte l'équité en santé, a déclaré Shah, on passe trop de temps à se demander si un modèle est également précis pour tout le monde. et pas assez de temps pour déterminer si l'intervention bénéficiera à tous de manière égale, même si la plupart des inégalités que nous essayons de corriger proviennent de ces dernières. »

Par exemple, prédire quels patients ne se présenteront pas à leurs rendez-vous n'est peut-être pas injuste en soi si ses prédictions sont également exactes dans tous les groupes raciaux et ethniques, mais le choix de la manière d'intervenir – qu'il s'agisse de répéter les heures de rendez-vous ou de fournir un soutien aux transports pour aider les gens à se rendre à leurs rendez-vous - peut avoir des impacts différents sur différents groupes de personnes

Troisièmement, Les avantages de l'intervention l'emportent sur les inconvénients, a déclaré Shah. L'utilité d'un modèle de prédiction dépendra donc des avantages et des inconvénients. inconvénients de l'intervention qu'il déclenche

.

Pour comprendre cette interaction, considérons un modèle prédictif couramment utilisé : l'équation de risque de maladie cardiovasculaire athéroscléreuse (ASCVD), qui s'appuie sur neuf points de données majeurs, notamment l'âge, le sexe, la race, le cholestérol total, les lipoprotéines de basse densité/cholestérol des lipoprotéines de haute densité, tension artérielle, antécédents de tabagisme, état du diabète et utilisation de médicaments antihypertenseurs) pour calculer le risque de crise cardiaque ou d'accident vasculaire cérébral d'un patient sur 10 ans. Shah a déclaré qu’une analyse approfondie de l’utilité de l’équation du risque ASCVD considérerait les trois parties de la figure ci-dessus et la trouverait utile.

Premièrement, le modèle est largement considéré comme hautement prédictif des maladies cardiaques et est également juste, généralisable et interprétable. Deuxièmement, la plupart des établissements médicaux interviennent en suivant des politiques standard concernant les niveaux de risque lors de la prescription de statines et disposent de capacités suffisantes pour intervenir car les statines sont largement disponibles. Enfin, une analyse bénéfices/risques de l’utilisation des statines suggère que la plupart des gens bénéficient des statines, même si certains patients ne peuvent pas tolérer leurs effets secondaires.

Un exemple d'analyse de l'utilité d'un modèle : Planification avancée des soins

L'exemple ASCVD ci-dessus, bien qu'illustratif, est probablement l'un des modèles prédictifs les plus simples. Mais les modèles prédictifs ont le potentiel de déclencher des interventions qui perturbent les flux de travail des soins de santé de manière plus complexe, et les avantages et les inconvénients de certaines interventions peuvent être moins clairs.

Pour résoudre ce problème, Shah et ses collègues ont développé un cadre pour tester si les modèles prédictifs sont utiles dans la pratique. Ils ont démontré le cadre à l’aide d’un modèle qui déclenche une intervention appelée plan de soins avancés (ACP).

L'ACP est généralement proposée aux patients en fin de vie et implique une discussion ouverte et honnête sur les scénarios futurs possibles et les souhaits du patient en cas d'incapacité. Non seulement ces conversations donnent aux patients un sentiment de contrôle sur leur vie, mais elles réduisent également les coûts des soins de santé, améliorent le moral des médecins et parfois même améliorent les taux de survie des patients.

L’équipe de Shah à Stanford a développé un modèle capable de prédire quels patients hospitalisés sont susceptibles de mourir au cours des 12 prochains mois. Notre objectif : identifier les patients susceptibles de bénéficier de l’ACP. Après s'être assurée que le modèle prédisait bien la mortalité et qu'il était juste, interprétable et fiable, l'équipe a mené deux analyses supplémentaires pour déterminer si les interventions déclenchées par le modèle étaient utiles.

La première est une analyse coûts-avantages, qui a révélé qu'une intervention réussie (fournir l'ACP aux patients correctement identifiés par le modèle comme susceptibles d'en bénéficier) permettrait d'économiser environ 8 400 $, tandis qu'une intervention auprès de ceux qui n'ont pas besoin d'ACP (c'est-à-dire, erreur de modèle) coûterait environ 3 300 $. "Dans ce cas, en gros, même si nous n'étions qu'un tiers à droite, nous atteindrions le seuil de rentabilité", a déclaré Shah.

Mais l’analyse ne s’est pas arrêtée là. « Pour économiser les 8 400 $ promis, nous avons dû mettre en œuvre un flux de travail qui impliquait, disons, 21 étapes, trois personnes et sept transferts en 48 heures », a déclaré Shah. "Alors, dans la vraie vie, pouvons-nous faire cela?"

Pour répondre à cette question, l'équipe a simulé l'intervention sur 500 jours d'hospitalisation pour évaluer les facteurs de prestation de soins tels que le personnel limité ou le manque de temps (en raison de la sortie du patient). les bénéfices de l’intervention. Ils ont également quantifié les avantages relatifs de l'augmentation du personnel hospitalier par rapport à la fourniture de PCA en ambulatoire. Résultats : le fait de disposer d'une option ambulatoire garantit la réalisation des avantages attendus. "Nous n'avons dû suivre que la moitié des patients qui ont obtenu leur congé pour obtenir une efficacité de 75 pour cent, ce qui est plutôt bon", a déclaré Shah.

Ce travail montre que même si vous disposez d'un très bon modèle et d'une très bonne intervention, un modèle n'est utile que si vous avez également la capacité de réaliser l'intervention, a déclaré Shah. Même si, avec le recul, ce résultat peut paraître intuitif, Shah a déclaré que ce n’était pas le cas à l’époque. "Si nous n'avions pas terminé cette étude, l'hôpital de Stanford aurait peut-être simplement élargi sa capacité d'hospitalisation pour proposer l'ACP, même si ce n'était pas très rentable.

L'équipe de Shah analysait les modèles, les interventions et les compromis entre les avantages et les avantages. " méfaits des interventions Le cadre d’interaction peut aider à identifier des modèles prédictifs utiles dans la pratique. "Au minimum, les modélisateurs devraient mener une sorte d'analyse pour déterminer si leurs modèles suggèrent des interventions utiles", a déclaré Shah. "Ce sera un début."

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!