MPM(모델 성능 관리)을 통해 기계 학습 모델 모니터링 문제 해결

번역가 | Li Rui

리뷰어 | Sun Shujuan

지난 몇 년 동안 세계의 디지털화는 조직과 기업에 독특한 기회와 도전을 가져왔습니다. 데이터의 급증으로 인해 의사결정의 정확성을 향상할 수 있는 더 많은 기회가 제공되었지만, 이제 이 정보를 분석하고 활용하는 데는 더 많은 시간과 비용이 소요됩니다. 결과적으로, 모든 규모의 기업에서는 대량의 데이터를 처리하고 분석가가 종종 알아차리지 못하거나 불합리한 시간이 걸리는 패턴과 상관 관계를 식별할 수 있는 기계 학습(ML) 모델을 배포하고 있습니다. 이러한 모델은 의사 결정을 향상하고 우수한 비즈니스 결과를 이끌어내는 힘을 가지고 있습니다. 예를 들어 일부 기계 학습 모델은 특정 제품이 내년에 얼마나 빨리 판매될 것인지 매우 정확하게 예측하여 마케팅 및 재고 계획을 개선할 수 있습니다. 다른 기업에서는 수백만 달러의 수익 손실을 초래할 수 있는 사기 거래를 식별할 수 있습니다.

그러나 기계 학습 모델에 대한 의존도가 높아짐에 따라 모델 성능을 모니터링하고 인공 지능에 대한 신뢰를 구축하는 필요성이 더욱 시급해졌습니다. 기계 학습 모델 모니터링이 없으면 MLOps 및 데이터 과학 팀은 다음과 같은 문제에 직면하게 됩니다.

• 일관되지 않은 모델 성능. 기계 학습 모델은 프로덕션에서 보는 실제 데이터와 다를 수 있는 기록 데이터를 기반으로 훈련되기 때문에 변동이 있을 수 있습니다.
• 제어 및 디버깅 가능성이 부족합니다. 복잡한 기계 학습 시스템은 불투명하기 때문에 실무자는 문제가 발생할 경우 문제를 해결하는 방법을 알 만큼 기계 학습 모델에 대해 충분히 알지 못할 수 있습니다.
• 편향의 예. 기계 학습 모델은 훈련된 데이터의 숨겨진 편견을 증폭시켜 기업을 법적 및 평판 위험에 노출시키고 잠재적으로 소비자에게 해로운 결과를 초래할 수 있습니다.
• 머신러닝 성능을 향상하세요. 어떤 개선이 필요한지 이해하고 추적하기 어렵기 때문에 기계 학습 모델은 초기 출시 이후 추가 투자를 받지 않습니다.

MLOps 팀은 모델에 대한 자신감이 부족할 가능성이 높으며, 이로 인해 프로젝트에 더 많은 시간이 소요되고 더 많은 오류가 발생할 수 있습니다. 기계 학습 모델 모니터링을 통해 개발자는 파일럿 및 생산 프로세스에서 모델을 디버그하여 문제가 발생할 때 이를 포착할 수 있습니다. 이는 오늘날 세계에서 매우 중요한 설명 가능하고 공정하며 윤리적인 AI 솔루션을 달성하는 가장 효율적인 방법입니다. 은행이 대출을 승인하기 위해 기계 학습 시스템을 사용하고 있다고 가정해 보겠습니다. 은행은 특정 대출이 거부된 이유를 묻는 고객 불만을 받을 수 있으며, 은행은 모델이 그러한 결정을 내린 이유를 설명할 책임이 있습니다. 이 질문에 대한 답을 추적하는 것은 적절한 모니터링 솔루션 없이는 거의 불가능합니다.

기계 학습 모델이 사기 예측, 대출 승인, 광고 타겟팅 등을 담당하는 경우 발생하는 작은 변화로 인해 모델 드리프트, 부정확한 보고 또는 편향이 발생할 수 있으며, 이로 인해 모두 수익 손실이 발생하고 브랜드 신뢰도에 영향을 미칠 수 있습니다.

오늘날 모델 모니터링의 과제

안타깝게도 오늘날의 조직이 의존하는 기계 학습 모델의 다양성과 수로 인해 기계 학습 모델 모니터링은 더욱 복잡해졌습니다. 이제 기계 학습 모델은 자금 세탁 방지, 직업 매칭, 임상 진단, 행성 감시 등 광범위한 사용 사례를 지원합니다. 또한 다양한 표현(표, 시계열, 텍스트, 이미지, 비디오 및 오디오)이 제공됩니다. 이러한 모델은 기업이 작업해야 하는 방대한 양의 데이터를 처리할 수 있지만 이를 추적하는 것은 훨씬 더 어렵고 비용이 많이 듭니다.

일부 기업에서는 이러한 과제를 극복하기 위해 광범위한 운영 가시성을 지원하도록 설계된 기존 인프라 모니터링 솔루션을 배포했습니다. 다른 사람들은 사내에서 자신만의 도구를 만들려고 합니다. 두 경우 모두 이러한 솔루션은 기계 학습 시스템의 고유한 요구 사항을 충족하지 못하는 경우가 많습니다. 기존 소프트웨어 시스템과 달리 기계 학습 시스템의 성능은 불확실하며 계절성, 새로운 사용자 행동 추세, 종종 극도로 고차원적인 업스트림 데이터 시스템과 같은 다양한 요인에 따라 달라집니다. 예를 들어 완벽하게 작동하는 광고 모델은 새로운 연휴 시즌이 다가오면 업데이트해야 할 수도 있습니다. 마찬가지로, 미국에서 콘텐츠를 추천하도록 훈련된 기계 학습 모델은 해외 사용자 등록으로 잘 변환되지 않을 수 있습니다. 또는 기업에서는 오래된 모델, 낭비되는 생산 문제 해결 시간, 사내 도구 유지 관리를 위한 추가 비용으로 인해 확장할 수 없는 문제에 직면하는 경우가 많습니다.

기계 학습 모델의 가시성과 설명 가능성을 지원하고 일반적인 모델 모니터링 문제를 극복하려면 기업에는 모델 성능 관리(MPM)를 통해 기계 학습 모델을 쉽게 모니터링, 해석, 분석 및 개선할 수 있는 솔루션이 필요합니다.

모델 성능 관리(MPM)가 성능과 편향을 해결하는 방법

모델 성능 관리(MPM)는 모델 수명 주기의 모든 단계에서 성능을 추적하고 기계 학습 피드백을 종료하는 기계 학습 워크플로의 중심에 있는 중앙 집중식 제어 시스템입니다. 루프. 모델 성능 관리(MPM)를 사용하면 기업은 설명과 근본 원인 분석을 통해 심층적이고 실행 가능한 통찰력을 발견하는 동시에 기계 학습 성능 문제를 즉시 표시하여 부정적인 비즈니스 영향을 피할 수 있습니다.

모델 성능 관리(MPM)는 모델 비즈니스 가치와 성능을 지속적으로 자동으로 재평가하고, 프로덕션에서 모델 성능에 대한 경고를 발행하며, 개발자가 편향의 첫 징후에 사전에 대응할 수 있도록 돕습니다. 모델 성능 관리(MPM)는 훈련부터 출시까지 모델의 동작을 추적하므로 어떤 요인이 특정 예측으로 이어지는지 설명할 수도 있습니다. 모델 모니터링을 설명 가능성 및 모델 공정성과 같은 기계 학습 관찰 가능성의 다른 기둥과 결합하면 기계 학습 엔지니어와 데이터 과학자에게 기계 학습 워크플로에 내장할 수 있는 포괄적인 툴킷을 제공하고 모델 검증 및 모니터링 사용 사례 전반에 걸쳐 단일 대시보드를 제공합니다. 기업은 모델 성능 관리(MPM)의 이점을 누릴 수 있습니다. 모델 모니터링을 더욱 효율적으로 만들 수 있을 뿐만 아니라 비용이 많이 드는 규제 벌금이나 평판 손상으로 이어지는 편향 사례를 줄일 수 있기 때문입니다. 기계 학습 모델에는 수명 주기 전반에 걸쳐 지속적인 모델 모니터링과 재교육이 필요합니다. 모델 성능 관리(MPM)를 통해 개발자는 모델에 대한 자신감과 효율성을 높일 수 있을 뿐만 아니라 AI 결과 이면의 이유와 프로세스를 이해하고 검증할 수 있습니다.

원제: ​​모델 성능 관리(MPM)를 통한 ML 모델 모니터링 문제 해결 ​​, 저자: Krishnaram Kenthapadi​

위 내용은 MPM(모델 성능 관리)을 통해 기계 학습 모델 모니터링 문제 해결의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!