利用模型效能管理（MPM）解決機器學習模型監控挑戰

譯者 | 李睿

審校 | 孫淑娟

在過去幾年，世界的數位化為組織和企業帶來了獨特的機會和挑戰。雖然數據的蓬勃發展為提高決策準確度提供了更多的機會，但現在分析和利用這些資訊更加耗時和昂貴。因此，各種規模的企業都在部署機器學習(ML)模型，這些模型可以處理大量數據，並識別經常被分析師忽視或耗費不合理時間的模式和相關性。這些模型具有增強決策和推動卓越業務成果的能力。例如，一些機器學習模型可以對特定產品在下一年的銷售速度做出高度準確的預測，以改善行銷和庫存計劃。其他企業能夠識別可能導致數百萬美元收入損失的詐欺交易。 

但隨著對機器學習模型的日益依賴，對模型效能的監控和對人工智慧建立信任的需求也變得更加迫切。如果沒有對機器學習模型監控，MLOps和資料科學團隊會面臨以下問題：

• 模型效能不一致。這可能會波動，因為機器學習模型是根據歷史資料訓練的，這些資料可能與它們在生產中看到的真實資料不同。 
• 缺乏控制和可除錯性。因為複雜的機器學習系統是不透明的，從業者可能不太了解機器學習模型，不知道在出現問題時如何修復它。 
• 偏誤實例。機器學習模型可能放大它們所訓練的資料中的隱藏偏見，使企業面臨法律和聲譽風險，並可能為消費者帶來有害的結果。
• 提高機器學習的效能。因為很難理解和追蹤需要進行哪些改進，所以在初始發布之後，機器學習模型不會獲得更多的投資。 

MLOps團隊也更有可能對他們的模型缺乏信心，這可能導致在專案上花費更多的時間和更多的錯誤。機器學習模型監視使開發人員能夠在試驗和生產過程中調試模型，以便在問題發生時捕獲它們。這是獲得可解釋、公平和合乎道德的人工智慧解決方案的最有效方式，這在當今世界是至關重要的。假設一家銀行正在使用機器學習系統來批准貸款，他們可能收到客戶投訴，詢問銀行為什麼某筆貸款被拒絕，而這家銀行需要負責解釋模型做出這個決定的原因。如果沒有適當的監控解決方案，追蹤這個問題的答案幾乎是不可能的。 

無論機器學習模型是負責預測詐欺、批准貸款還是定位廣告，發生的微小變化都可能導致模型漂移、報告不準確或偏見——所有這些都會導致收入損失和影響品牌信譽。 

當今模型監視面臨的挑戰

不幸的是，由於當今組織所依賴的機器學習模型種類繁多，數量眾多，因此機器學習模型監視變得更加複雜。機器學習模型現在服務於廣泛的用例，例如反洗錢、工作匹配、臨床診斷和監視行星。它們也有許多不同的表現形式(表格、時間序列、文字、圖像、視訊和音訊)。雖然這些模型可以處理企業需要使用的大量數據，但追蹤它們的難度和成本要高得多。

一些企業已經部署了傳統的基礎設施監控解決方案，旨在支援廣泛的營運可見性，以克服這些挑戰。其他人則嘗試在內部創建自己的工具。在任何一種情況下，這些解決方案通常都無法滿足機器學習系統的獨特需求。與傳統軟體系統不同，機器學習系統的表現是不確定的，這取決於各種因素，例如季節性、新的使用者行為趨勢，以及通常極高維度的上游資料系統。例如，功能完美的廣告模式可能需要在新的假期到來時進行更新。類似地，經過訓練的一個機器學習模型顯示在美國的內容推薦可能不會很好地用於國際用戶註冊。或者，企業經常面臨無法擴展的問題，由於型號過時，浪費了生產故障排除時間，以及內部工具維護的額外費用。

為了在機器學習模型中啟用可見性和可解釋性，並克服常見的模型監視挑戰，企業需要能夠方便地監視、解釋、分析和改進機器學習模型的解決方案，並採用模型效能管理（MPM）。

模型效能管理（MPM）如何解決效能與偏差 

模型效能管理（MPM）是位於機器學習工作流程中心的集中控制系統，它追蹤模型生命週期所有階段的性能，並關閉機器學習回饋循環。採用模型效能管理（MPM），企業可以透過解釋和根本原因分析來發現深刻的可操作的見解，同時立即顯示機器學習效能問題，以避免負面的業務影響。 

模型效能管理（MPM）不斷自動重新評估模型業務價值和效能，發布生產中模型效能的警報，並幫助開發人員在出現偏見的第一個跡象時主動回應。因為模型效能管理（MPM）追蹤模型從訓練到發布的行為，它也可以解釋是什麼因素導致了某種預測。將模型監視與機器學習可觀察性的其他支柱(如可解釋性和模型公平性)結合起來，為機器學習工程師和資料科學家提供了全面的工具包，可以嵌入到他們的機器學習工作流程中，並提供了橫跨模型驗證和監視用例的單一控制面板。企業從模型效能管理（MPM）中受益，不僅因為它能夠提高模型監視的效率，還因為可以減少導致代價高昂的監管罰款或聲譽損失的偏見實例。     機器學習模式需要在整個生命週期中持續的模式監視和再訓練。模型效能管理（MPM）使開發人員不僅可以在他們的模型中獲得信心和更高的效率，而且還可以理解和驗證他們的人工智慧結果背後的原因和過程。

原文標題：#Solving for ML Model Monitoring Challenges with Model Performance Management (MPM)

############# ###，作者：Krishnaram Kenthapadi######

以上是利用模型效能管理（MPM）解決機器學習模型監控挑戰的詳細內容。更多資訊請關注PHP中文網其他相關文章！