分析失敗的AI專案能學到什麼？

AI專案的失敗往往跟大麻煩無關，而是由一個個微小細節決定。面對種種令人興奮的可能性，企業在最初啟動AI專案時往往信心滿滿。但具體實施過程中的現實問題很容易熄滅這份熱情，導致AI計畫被擱置甚至最終失敗。而引發失敗的常見問題之一，就是組織缺乏對專案長期成本的準確考量。管理階層只計算出了專案的初始成本，卻沒注意到後期的維修與更新開銷。

研究企業Cognilytica就對數百個失敗的AI專案做出全面分析，意識到許多組織沒有意識到AI專案生命週期的連續性。組織通常只會為專案的前幾輪迭代分配預算，包括資料準備、清洗、模型訓練、資料標記、模型評估和迭代需求等，但卻沒能為持續實施的迭代工作保持預算供應。另外，組織還必須持續監控模型和資料衰減，根據需求重新訓練模型，並考慮未來進一步擴展和迭代。隨著時間推移，這必然導致組織對AI專案的投資報酬率產生預期偏差甚至失調。

在考慮模型的連續迭代成本時，大家到底經歷了什麼樣的思考過程？大多數組織面臨的挑戰是，他們往往把AI專案視為一次性概念驗證或試點應用，並沒有考慮預留一部分資金、資源和人力用於模型的持續評估和重新訓練。但作為典型的數據驅動項目，AI絕不是一次性投資。人們可能沒有意識到，一旦模型被投入生產，他們就需要持續為模型的迭代和開發分配資金、資源和人力。

所以只考慮到模型建構成本的組織，會在專案啟動之後遇到各種問題。以AI專案成本和投資回報為例，AI專案擁有者需要關注模型的維護成本是多少，以及願意為後續資料準備和模型迭代再投入多少資源。

而成功AI專案的一大共通之處，就在於其功能不會一次交付。相反，成功的專案會將AI方案視為持續迭代的循環，並沒有明確的起點和終點。就如同網路安全專案不是一次性專案一樣，AI這類資料驅動專案也需要持續運轉，確保適應不斷變化的現實、不斷變化的資料。即使是最初效果極佳的模型，也可能隨著時間而逐漸失效，畢竟資料漂移和模型漂移不可避免。此外，隨著組織本身的發展，對AI應用的專業知識與技巧、用例、模型及資料也會持續更新、不斷變化。

再有，全球經濟和世界格局也以意想不到的方式震盪波動。於是乎，任何長期規劃項目、包括極度複雜的AI項目，都免不了要隨之做出調整。過去兩年以來，零售商肯定預料不到供應鏈和勞動市場出現的衝擊，組織也想不到員工會快速轉向居家辦公。現實世界和使用者行為的快速變化必然會導致資料變化，所以模型也得隨之變化。正因如此，我們才需要對模型進行持續監控與迭代，充分考慮到資料漂移與模型漂移問題。

關於迭代的思考：方法論與ML Ops

當組織計畫擴充或增強模型時，也同樣需要配對原有模型迭代機制。例如，如果一家北美企業希望將購買模式預測模型擴展到其他市場，就需要持續迭代模型和資料以適應新的資料需求。

這些因素意味著，組織必須不斷為迭代提供額外資金，確保模型能夠正確識別資料來源及其他關鍵因素。而獲得AI成功的組織也意識到，他們需要遵循經驗驗證的迭代和敏捷方法，並藉此順利完成AI專案擴展。憑藉著敏捷方法論和以資料為中心的專案管理思路，跨產業資料探勘流程標準（CRISP-DM）等已經開始增強AI功能，保證迭代專案不會遺漏某些關鍵步驟。

隨著AI市場的不斷發展，名為「ML Ops」的新興機器學習模式營運管理也開始受到追捧。 ML Ops專注於模型的開發和使用、機器學習運作及部署的整個生命週期。 ML Ops方法及解決方案旨在協助組織在持續發展的空間當中管理並監控AI模型。 ML Ops也可謂站在巨人的肩膀上，充分汲取了DevOps以開發為中心的專案持續迭代/開發思路，以及DataOps對於不斷變化的大規模資料集的管理經驗。

ML Ops的目標是為組織提供模型漂移、模型治理與版本控制等可見性指引，藉此協助AI專案迭代。 ML Ops能幫助大家更好地管理這些問題。雖然目前市面上充斥著各種ML Ops工具，但ML Ops與DevOps一樣，主要強調的是組織自己做事，而非花錢購買就能無腦解決。 Ml Ops最佳實踐涵蓋模型治理、版本控制、發現、監控、透明度以及模型安全/迭代等一系列環節。 ML Ops解決方案還能同時支援相同型號的多個版本，並根據特定需求進行行為客製化。這類解決方案還會追蹤、監控和確定誰有權存取哪些模型，同時嚴格保障治理及安全管理等原則。

考慮到AI迭代的現實需求，ML Ops已經開始成為整體模型建構與管理環境中的重要組成部分。這些功能未來也有望越來越多地作為整體AI及ML工具集中的一分子，並逐步登陸雲端解決方案、開源產品及ML機器學習平台等應用場景。

失敗是成功之母

ML Ops與AI專案的成功，離不開最佳實踐的支持與引導。問題並不會導致AI專案失敗，無法準確解決問題才是失敗的根源。組織需要將AI專案視為一種迭代且循序漸進的過程，並充分透過AI認知專案管理（CPMAI）方法和不斷發展的ML Ops工具探索出適合自己的最佳實踐。從大處著眼，從小處著手，持續迭代的理念應貫穿AI專案的整個生命週期。這些失敗案例絕非故事的終章，而應該成為新的開始。

以上是分析失敗的AI專案能學到什麼？的詳細內容。更多資訊請關注PHP中文網其他相關文章！