Que peut-on apprendre de l'analyse des projets d'IA qui ont échoué ?

L'échec des projets d'IA n'a souvent rien à voir avec de gros problèmes, mais est déterminé par de petits détails. Face à toutes les possibilités passionnantes, les entreprises sont souvent pleines de confiance lorsqu’elles lancent leurs premiers projets d’IA. Cependant, des problèmes pratiques lors du processus de mise en œuvre spécifique peuvent facilement éteindre cet enthousiasme, conduisant à l’abandon, voire à l’échec du projet d’IA. L'un des problèmes courants à l'origine de l'échec est le manque de prise en compte précise par l'organisation du coût à long terme du projet. La direction n'a calculé que le coût initial du projet, mais n'a pas prêté attention aux dépenses ultérieures de maintenance et de mise à jour.

La société de recherche Cognilytica a mené une analyse complète de centaines de projets d'IA ayant échoué et s'est rendu compte que de nombreuses organisations ne réalisaient pas la continuité du cycle de vie des projets d'IA. Les organisations allouent souvent un budget uniquement pour les premières itérations d'un projet, y compris la préparation des données, le nettoyage, la formation du modèle, l'étiquetage des données, l'évaluation du modèle et les exigences d'itération, mais ne parviennent pas à maintenir le budget pour les itérations en cours. De plus, les organisations doivent surveiller en permanence la dégradation des modèles et des données, recycler les modèles si nécessaire et envisager de nouvelles extensions et itérations à l'avenir. Au fil du temps, cela entraînera inévitablement des écarts, voire des déséquilibres, dans le retour sur investissement attendu de l'organisation pour les projets d'IA.

Quel genre de processus de réflexion tout le monde a-t-il suivi en considérant le coût de l'itération continue du modèle ? Le défi auquel la plupart des organisations sont confrontées est qu’elles ont tendance à considérer les projets d’IA comme des preuves de concept ou des applications pilotes ponctuelles, et n’envisagent pas de réserver une partie des fonds, des ressources et de la main-d’œuvre pour l’évaluation continue et le recyclage des modèles. Mais en tant que projet typique basé sur les données, l’IA n’est en aucun cas un investissement ponctuel. Les gens ne réalisent peut-être pas qu’une fois qu’un modèle est mis en production, ils doivent continuer à allouer des fonds, des ressources et de la main-d’œuvre à l’itération et au développement du modèle.

Ainsi, les organisations qui ne considèrent que le coût de construction du modèle rencontreront divers problèmes après le lancement du projet. En prenant comme exemple le coût et le retour sur investissement d'un projet d'IA, les propriétaires de projets d'IA doivent prêter attention au coût de maintenance du modèle et aux ressources qu'ils sont prêts à investir dans la préparation ultérieure des données et l'itération du modèle.

Une chose que les projets d'IA réussis ont en commun est que leurs fonctions ne sont pas fournies en même temps. En revanche, les projets réussis considèrent les solutions d’IA comme un cycle itératif continu sans point de départ ni point d’arrivée clairs. Tout comme les projets de cybersécurité ne sont pas des projets ponctuels, les projets axés sur les données tels que l’IA doivent également continuer à fonctionner pour garantir qu’ils s’adaptent aux réalités changeantes et à l’évolution des données. Même un modèle qui fonctionne bien au départ peut progressivement échouer au fil du temps, car la dérive des données et la dérive du modèle sont inévitables. De plus, à mesure que l’organisation elle-même se développe, les connaissances et compétences professionnelles, les cas d’utilisation, les modèles et les données pour les applications d’IA continueront d’être mis à jour et d’évoluer.

De plus, l’économie mondiale et la structure mondiale fluctuent également de manière inattendue. En conséquence, tout projet de planification à long terme, y compris les projets d’IA extrêmement complexes, devra inévitablement procéder à des ajustements en conséquence. Les détaillants n’auraient certainement pas pu anticiper les perturbations de la chaîne d’approvisionnement et du marché du travail survenues au cours des deux dernières années, pas plus que les organisations n’auraient pu anticiper le passage rapide au travail à domicile. Les changements rapides dans le monde réel et le comportement des utilisateurs entraîneront inévitablement des changements dans les données, le modèle doit donc également changer. Pour cette raison, nous devons surveiller et itérer en permanence le modèle, en tenant pleinement compte de la dérive des données et de la dérive du modèle.

Penser à l'itération : méthodologie et ML Ops

Lorsqu'une organisation envisage d'étendre ou d'améliorer un modèle, elle doit également correspondre au mécanisme d'itération du modèle d'origine. Par exemple, si une entreprise nord-américaine souhaite étendre son modèle de prédiction des habitudes d’achat à d’autres marchés, elle devra continuellement itérer le modèle et les données pour s’adapter aux nouveaux besoins en données.

Ces facteurs signifient que les organisations doivent continuellement fournir un financement supplémentaire pour les itérations afin de garantir que le modèle identifie correctement les sources de données et d'autres facteurs clés. Les organisations qui réussissent dans le domaine de l’IA réalisent également qu’elles doivent suivre des méthodes itératives et agiles éprouvées empiriquement pour mener à bien l’expansion des projets d’IA. S'appuyant sur des méthodologies agiles et des idées de gestion de projet centrées sur les données, la norme CRISP-DM (Cross-Industry Data Mining Process Standard) et d'autres ont commencé à améliorer les fonctions d'IA pour garantir que les projets itératifs ne manquent pas certaines étapes clés.

Avec le développement continu du marché de l'IA, le nouveau modèle de gestion des opérations d'apprentissage automatique appelé « ML Ops » a également commencé à être recherché. ML Ops se concentre sur l'ensemble du cycle de vie du développement et de l'utilisation des modèles, des opérations d'apprentissage automatique et du déploiement. Les méthodes et solutions ML Ops sont conçues pour aider les organisations à gérer et à surveiller les modèles d'IA dans un espace en constante évolution. On peut également dire que ML Ops repose sur les épaules de géants, absorbant pleinement les idées d'itération/développement de projets centrées sur le développement de DevOps et l'expérience de gestion de DataOps dans la gestion d'ensembles de données à grande échelle en constante évolution.

L'objectif de ML Ops est de fournir aux organisations des conseils de visibilité tels que la dérive des modèles, la gouvernance des modèles et le contrôle des versions, facilitant ainsi les itérations des projets d'IA. ML Ops peut aider chacun à mieux gérer ces problèmes. Bien que le marché soit actuellement inondé de divers outils ML Ops, ML Ops, comme DevOps, met principalement l'accent sur le fait que les organisations font les choses elles-mêmes, plutôt que de dépenser de l'argent pour les résoudre sans réfléchir. Les meilleures pratiques de Ml Ops couvrent une série d'aspects tels que la gouvernance des modèles, le contrôle des versions, la découverte, la surveillance, la transparence et la sécurité/itération des modèles. Les solutions ML Ops peuvent également prendre en charge plusieurs versions du même modèle simultanément, en personnalisant leur comportement en fonction de besoins spécifiques. De telles solutions suivent, surveillent et déterminent également qui a accès à quels modèles, tout en garantissant des principes stricts de gouvernance et de gestion de la sécurité.

Compte tenu des besoins réels de l'itération de l'IA, ML Ops a commencé à devenir une partie importante de l'environnement global de construction et de gestion de modèles. À l’avenir, ces fonctions devraient faire de plus en plus partie de l’ensemble global d’outils d’IA et de ML, et atterrir progressivement dans des scénarios d’application tels que les solutions cloud, les produits open source et les plateformes d’apprentissage automatique ML.

L'échec est la mère du succès

Le succès des projets ML Ops et IA ne peut être séparé du soutien et de l'orientation des meilleures pratiques. Les problèmes ne feront pas échouer le projet d’IA ; l’incapacité à résoudre le problème avec précision est la cause première de l’échec. Les organisations doivent considérer les projets d'IA comme un processus itératif et étape par étape, et explorer pleinement les meilleures pratiques qui leur conviennent grâce aux méthodes de gestion de projet cognitive pour l'IA (CPMAI) et aux outils ML Ops évolutifs. Pensez grand, commencez petit, et le concept d’itération continue devrait s’appliquer tout au long du cycle de vie d’un projet d’IA. Ces échecs ne constituent en aucun cas la fin de l’histoire, mais plutôt un nouveau départ.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!