의료 AI가 유용하다는 것을 어떻게 보장할 수 있나요?

의료 사업의 큰 계획에서 예측 모델은 혈액 검사, 엑스레이 또는 MRI와 동일한 역할을 합니다. 즉, 개입이 적절한지 결정하는 데 영향을 미칩니다.

Stanford Healthcare의 수석 데이터 과학자이자 Stanford HAI의 교수진인 Nigam Shah는 "넓게 말하면 모델은 수학적 연산을 수행하고 의사와 환자가 조치를 취할지 여부를 결정하는 데 도움이 되는 확률 추정치를 생성합니다."라고 말했습니다. 그러나 이러한 확률 추정치는 보다 유익한 결정을 촉발하는 경우에만 의료 서비스 제공자에게 유용합니다.

“커뮤니티로서 우리는 이 모델이 효과가 있느냐고 묻는 것보다 모델의 성능에 집착하는 것 같아요.” "우리는 고정관념에서 벗어나 생각해야 합니다."

Shah 팀은 병원이 모델을 기반으로 중재를 제공할 수 있는지, 해당 중재가 환자와 의료 기관에 도움이 될지 여부를 평가하는 몇 안 되는 의료 연구 그룹 중 하나입니다.

Shah는 “AI 연구자들이 아무것도 배포하지 않고 좌우로 모델을 구축하고 있다는 우려가 커지고 있습니다.”라고 말했습니다. 그 이유 중 하나는 모델에 의해 촉발된 개입이 어떻게 병원 운영에 비용 효율적으로 통합될 수 있는지 보여주는 유용성 분석을 모델러가 수행하지 못하면서 득보다 실이 더 많기 때문입니다. "" 모델 개발자가 이 추가 분석을 수행하는 데 시간을 할애한다면 병원은 주의를 기울일 것입니다.

Shah는 유용성 분석을 위한 도구가 이미 운영 연구, 의료 정책 및 계량경제학 분야에 존재하지만 의료 모델 개발자가 이를 사용하기 위해 노력하고 있다고 말했습니다. 이러한 사고방식을 바꾸고 더 많은 사람들이 모델의 유용성을 평가하도록 촉구하기 위해 출판되었습니다. 여기에는 모델러가 유용성을 고려해야 할 필요성을 다루는 JAMA 논문과 의료 및 의료 분야에서 예측 모델의 유용성을 분석하기 위한 프레임워크를 제시하는 연구 논문이 포함됩니다. 실제 사례를 사용하여 작동 방식을 보여줍니다.

"병원이 운영에 추가할 수 있는 새로운 것과 마찬가지로 새로운 모델을 배포하는 것도 가치가 있어야 합니다."라고 Shah는 말했습니다. "의 가치를 결정하기 위한 성숙한 프레임워크가 마련되어 있습니다. 모델. 이제 모델러가 이를 사용할 차례입니다. ”

모델 간의 상호 작용, 개입, 개입의 장단점을 이해합니다.

위 그림에서 볼 수 있듯이 모델의 유용성은 모델 간의 상호 작용, 즉 트리거되는 개입에 따라 달라집니다.

먼저, 종종 가장 많은 관심을 받는 이 모델은 환자의 재입원 위험이나 당뇨병 발병 위험 등 예측해야 하는 모든 것을 예측하는 데 능숙해야 합니다. , Shah는 공정해야 합니다. 즉, 생성된 예측은 인종, 민족, 출신 국가 또는 성별에 관계없이 모든 사람에게 동일하게 적용되어야 하며 한 병원에서 다른 병원으로 일반화될 수 있어야 함을 의미합니다.] 또는 적어도 지역 병원에 적용되어야 합니다. 또한 신뢰할 수 있는 예측을 생성하려면 해석이 가능해야 합니다.

둘째, 의료 기관은 테스트나 모델을 기반으로 개입 시기와 방법에 대한 정책을 개발하고 개입 책임이 누구에게 있는지 결정해야 합니다. (충분한 직원, 재료 또는 기타 자원) 개입

특정 방식으로 개입할지 여부 또는 방법에 대한 정책이 건강 형평에 영향을 미치는 것은 모델이 모든 사람에게 동일하게 정확한지 여부에 초점을 맞추는 데 너무 많은 시간이 소요된다고 Shah는 말했습니다. 우리가 해결하려는 대부분의 불평등이 후자에서 발생하더라도 개입이 모든 사람에게 동등하게 혜택을 줄 것인지 여부에 대해서는 충분한 시간이 필요합니다. ”

예를 들어, 예약 시간에 어떤 환자가 나타나지 않을지 예측하는 것은 그 예측이 모든 인종 및 민족 그룹에 걸쳐 똑같이 정확하다면 그 자체로는 불공평하지 않을 수 있지만, 개입 방법의 선택(예약 시간을 반복할지 또는 제공할지 여부) 사람들이 약속 장소에 갈 수 있도록 돕는 교통 지원 - 다양한 그룹의 사람들에게 서로 다른 영향을 미칠 수 있습니다.

셋째, 개입은 긍정적인 결과와 부정적인 결과를 모두 가져올 수 있으므로 모델 예측의 유용성은 전문가와 전문가에 따라 달라질 것이라고 Shah는 말했습니다. 그것이 유발하는 개입의 단점

.

이 상호 작용을 이해하려면 일반적으로 사용되는 예측 모델인 죽상동맥경화성 심혈관 질환(ASCVD) 위험 방정식을 고려하십시오. 이는 연령, 성별, 인종, 총 콜레스테롤, 저밀도 지질단백질/HDL 콜레스테롤, 혈압, 흡연 이력, 당뇨병 상태, 항고혈압제 사용)을 바탕으로 환자의 10년 심장마비 또는 뇌졸중 위험을 계산합니다. Shah는 ASCVD 위험 방정식에 대한 구체적인 유용성 분석을 통해 위 그림의 세 부분을 고려하고 유용하다고 판단할 것이라고 말했습니다.

첫째, 이 모델은 심장 질환에 대한 예측 가능성이 높은 것으로 널리 알려져 있으며 공정하고 일반화 가능하며 해석 가능합니다. 둘째, 대부분의 의료기관은 스타틴 처방에 있어 위험도에 대한 표준정책을 준수하여 개입하고 있으며, 스타틴이 널리 보급되어 있어 개입할 수 있는 여력이 충분하다. 마지막으로, 스타틴 사용에 대한 유해/이득 분석에 따르면 일부 환자는 부작용을 견딜 수 없지만 대부분의 사람들은 스타틴의 혜택을 받는 것으로 나타났습니다.

모델 유용성 분석의 예: 고급 의료 계획

위의 ASCVD 예는 설명이기는 하지만 아마도 가장 간단한 예측 모델 중 하나일 것입니다. 그러나 예측 모델은 보다 복잡한 방식으로 의료 업무 흐름을 방해하는 개입을 촉발할 가능성이 있으며, 일부 개입의 이점과 해로움은 덜 명확할 수 있습니다.

이 문제를 해결하기 위해 Shah와 동료들은 예측 모델이 실제로 유용한지 테스트하는 프레임워크를 개발했습니다. 그들은 ACP(Advanced Care Plan)라는 개입을 촉발하는 모델을 사용하여 프레임워크를 시연했습니다.

ACP는 일반적으로 임종을 앞두고 있는 환자에게 제공되며, 가능한 미래 시나리오와 환자가 무능력해질 경우 환자가 바라는 바에 대해 공개적이고 솔직하게 논의하는 과정을 포함합니다. 이러한 대화는 환자에게 자신의 삶에 대한 통제감을 줄 뿐만 아니라 의료 비용을 절감하고 의사의 사기를 높이며 때로는 환자의 생존율도 향상시킵니다.

스탠포드의 샤 팀은 향후 12개월 내에 어떤 병원 환자가 사망할 가능성이 있는지 예측할 수 있는 모델을 개발했습니다. 우리의 목표는 ACP의 혜택을 받을 수 있는 환자를 식별하는 것입니다. 모델이 사망률을 잘 예측하고 공정하고 해석 가능하며 신뢰할 수 있음을 확인한 후 팀은 모델에 의해 촉발된 개입이 유용한지 여부를 결정하기 위해 두 가지 추가 분석을 수행했습니다.

첫 번째는 비용-편익 분석으로, 성공적인 개입(모델에 의해 혜택을 받을 것으로 정확하게 식별된 환자에게 ACP 제공)은 약 $8,400를 절약할 수 있는 반면, ACP가 필요하지 않은 환자(예: 모델 오류) 비용은 약 $3,300입니다. Shah는 "이 경우 매우 대략적으로 말하면 우리가 3번째 권리에 불과하더라도 손익분기점에 도달할 것"이라고 말했습니다.

하지만 분석은 여기서 끝나지 않았습니다. Shah는 "약속된 8,400달러를 절약하기 위해 실제로 21단계, 3명, 7번의 핸드오프가 포함된 워크플로우를 구현해야 했습니다"라고 말했습니다. "그렇다면 실생활에서 그렇게 할 수 있을까요?"

이 질문에 답하기 위해 팀은 제한된 직원이나 시간 부족(환자 퇴원으로 인한)과 같은 치료 제공 요인을 평가하기 위해 500일 동안의 개입을 시뮬레이션했습니다. 개입의 이점. 그들은 또한 외래환자 기준으로 ACP를 제공하는 것과 입원환자 인력을 늘리는 것의 상대적 이점을 정량화했습니다. 결과: 외래환자 옵션을 사용하면 더 많은 기대 혜택을 얻을 수 있습니다. Shah는 "퇴원한 환자 중 절반만 추적 관찰하면 75%의 효능을 얻을 수 있었는데 이는 꽤 좋은 결과"라고 말했습니다.

이 연구는 정말 좋은 모델과 정말 좋은 중재가 있더라도 중재를 전달할 수 있는 능력이 있는 경우에만 모델이 유용하다는 것을 보여준다고 Shah는 말했습니다. 돌이켜 보면 이 결과가 직관적으로 보일 수 있지만 샤는 당시에는 그렇지 않았다고 말했습니다. "이 연구를 완료하지 않았다면 스탠포드 병원은 비록 비용 효율적이지는 않았지만 ACP를 제공하기 위해 입원 환자 수용 능력을 확장했을 것입니다." 개입 상호작용 프레임워크는 실제로 유용한 예측 모델을 식별하는 데 도움이 될 수 있습니다. Shah는 "최소한 모델러는 자신의 모델이 유용한 개입을 제안하는지 여부를 결정하기 위해 일종의 분석을 수행해야 합니다"라고 말했습니다. "이것이 시작이 될 것입니다.

"

위 내용은 의료 AI가 유용하다는 것을 어떻게 보장할 수 있나요?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!