Pour accélérer le développement de l’IA, comment les entreprises peuvent-elles utiliser les MLOps pour améliorer l’efficacité de la production ?

Lorsque les entreprises déploient l'intelligence artificielle et construisent des projets d'apprentissage automatique pour la première fois, elles se concentrent souvent sur la théorie. Existe-t-il donc un modèle capable de fournir les résultats nécessaires ? Si oui, comment pouvons-nous construire et former un tel modèle ?

Selon les données d'IDC, il faut en moyenne plus de 9 mois pour déployer des solutions d'intelligence artificielle ou de machine learning. Principalement parce que les outils utilisés par les data scientists pour construire ces preuves de concept ne se traduisent souvent pas bien dans les systèmes de production. Sriram Subramanian, analyste chez IDC, a déclaré : « Nous appelons le temps requis pour le processus de R&D « vitesse du modèle », c'est-à-dire le temps qu'il faut du début à la fin.

Les entreprises peuvent utiliser MLOps pour résoudre les problèmes ci-dessus. MLOps (Machine Learning Operations) est un ensemble de bonnes pratiques, de cadres et d'outils qui peuvent aider les entreprises à gérer les données, les modèles, le déploiement, la surveillance et d'autres aspects qui utilisent des concepts théoriques pour valider les systèmes d'IA et les rendre efficaces.

Subramanian explique en outre : « MLOps réduit la vitesse du modèle à des semaines, parfois même à des jours, tout comme l'utilisation de DevOps pour accélérer le temps moyen de création d'une application, c'est pourquoi vous avez besoin de MLOps. En adoptant MLOps, les entreprises peuvent créer davantage de multiples. » modèles, une innovation plus rapide et davantage de scénarios d'utilisation. « La proposition de valeur de MLOps est claire. »

Selon IDC, 60 % des entreprises utiliseront MLOps pour mettre en œuvre leurs flux de travail d'apprentissage automatique d'ici 2024. Subramanian a déclaré que lorsqu'ils ont interrogé les répondants sur les défis liés à l'adoption de l'IA et de l'apprentissage automatique, l'un des principaux obstacles était le manque de MLOps, juste derrière le coût.

Dans cet article, nous examinons ce qu'est le MLOps, comment il a évolué et ce que les organisations doivent accomplir et garder à l'esprit pour tirer le meilleur parti de cette méthode de fonctionnement émergente de l'IA.

L'évolution du MLOps

Il y a quelques années, lorsque Eugenio Zuccarelli a commencé à créer des projets d'apprentissage automatique, le MLOps n'était qu'un ensemble de bonnes pratiques. Depuis lors, Zuccarelli a travaillé sur des projets d'IA dans plusieurs entreprises, notamment dans les secteurs de la santé et des services financiers, et il a vu les MLOps commencer à évoluer au fil du temps pour inclure une variété d'outils et de plateformes.

Aujourd'hui, MLOps fournit un cadre assez puissant pour les opérations d'intelligence artificielle, a déclaré Zuccarelli, désormais data scientist innovant chez CVS Health, mentionnant un projet précédent sur lequel il a travaillé pour créer un système capable de prédire des applications telles que la réadmission ou la maladie. progression.

« Nous explorons des ensembles de données et des modèles, et communiquons avec des médecins pour découvrir les caractéristiques des meilleurs modèles. Mais pour que ces modèles soient vraiment utiles, les utilisateurs doivent réellement les utiliser. »

Cela signifie Afin de. construisez une application mobile fiable, rapide et stable, le backend dispose d'un système d'apprentissage automatique connecté via API. « Sans MLOps, nous ne serions pas en mesure de garantir cela », a-t-il déclaré.

Son équipe a utilisé la plateforme H2O MLOps et d'autres outils pour créer un tableau de bord de santé pour le modèle. "Vous ne voulez certainement pas de changements majeurs dans le modèle, et vous ne voulez pas introduire de biais. Le tableau de bord de santé nous permet de comprendre si le système a changé

Les mises à jour des systèmes de production peuvent également être effectuées en utilisant le Plateforme MLOps. Il a déclaré : « Il est très difficile d'échanger des fichiers sans arrêter le travail de l'application. MLOps peut échanger le système pendant que la production est en cours avec un impact minimal sur le système.

Il a déclaré que la plate-forme MLOps évolue progressivement et que la maturité accélérera le processus. processus complet de développement de modèles, car les entreprises n'auront pas à réinventer le cadre pour chaque projet. Les capacités de gestion du pipeline de données sont également essentielles à la mise en œuvre de l’IA.

« Si nous avons plusieurs sources de données qui doivent communiquer entre elles, c'est là que MLOps entre en jeu. Vous voulez que toutes les données circulant dans le modèle d'apprentissage automatique soient cohérentes et de haute qualité. Si les informations du modèle sont médiocres, alors les prédictions elles-mêmes seront médiocres. »

Le fondement du MLOps : une cible mouvante

Mais ne présumez pas que simplement parce qu'il y a tellement de plates-formes et d'outils disponibles, Les principes fondamentaux du MLOps sont ignorés. Les entreprises qui découvrent MLOps doivent se rappeler qu’à la base, MLOps consiste à créer un lien solide entre la science des données et l’ingénierie des données.

Zuccarelli a déclaré : "Pour garantir le succès des projets MLOps, vous avez besoin que les ingénieurs de données et les scientifiques des données travaillent dans la même équipe.

De plus, il est nécessaire de prévenir les préjugés, d'assurer la transparence, de fournir une explication et de soutenir des plateformes éthiques." Les outils sont encore en cours de développement. "Il y a certainement beaucoup de travail à faire dans ce domaine car c'est un domaine très nouveau

Par conséquent, s'il n'y a pas de solution clé en main complète à adopter, les entreprises le feront." doit avoir une bonne compréhension de la manière dont MLOps peut mettre en œuvre efficacement tous les aspects de l’intelligence artificielle. Cela signifie développer une expertise à grande échelle, a déclaré Meagan Gentry, responsable nationale de la pratique de l'équipe IA du cabinet de conseil en technologie Insight.

MLOps couvre l'ensemble du champ d'application, de la collecte, de la vérification et de l'analyse des données à la gestion des ressources des machines et au suivi des performances des modèles. Il existe de nombreux outils auxiliaires qui peuvent être déployés localement, dans le cloud ou en périphérie. Certains de ces outils sont open source. et certains sont propriétaires.

Mais la maîtrise de la technologie n'est qu'un aspect, MLOps s'appuie également sur les méthodes agiles de DevOps et les principes du développement itératif, a déclaré Gentry. De plus, comme dans tout domaine lié à l’agilité, la communication est cruciale.

« La communication dans chaque rôle est très importante, la communication entre les data scientists et les ingénieurs de données, la communication avec DevOps et la communication avec l'ensemble de l'équipe informatique. »

Pour les entreprises qui débutent, les MLOps peuvent être déroutants, il existe un Il existe de nombreux principes généraux, il existe des dizaines de fournisseurs et il existe même de nombreux ensembles d'outils open source.

« Il y a toutes sortes d'embûches ici », a déclaré Helen Ristov, directrice principale de l'architecture d'entreprise chez Capgemini Americas. "Beaucoup d'entre elles sont encore en cours de développement et il n'existe pas encore d'ensemble de lignes directrices formelles. Comme DevOps, il s'agit encore d'une technologie émergente, et les lignes directrices et les politiques associées prendront un certain temps à être déployées

Ristov a suggéré que les entreprises devraient le faire." Commencez leur parcours MLOps avec la plateforme de données. "Peut-être qu'ils ont des ensembles de données, mais ils se trouvent à des endroits différents et il n'y a pas d'environnement unifié.

Elle a déclaré que les entreprises n'ont pas besoin de déplacer toutes les données vers une seule plate-forme, mais ont besoin d'un moyen d'extraire les données de différents moments." les données sont introduites dans la source de données, différentes applications ont des situations différentes. Par exemple, les lacs de données sont idéaux pour les entreprises qui effectuent de grandes quantités d’analyses à haute fréquence et avec un stockage à faible coût. Les plates-formes MLOps disposent souvent d'outils pour créer et gérer des pipelines de données et suivre différentes versions de données de formation, mais il ne s'agit pas d'une approche universelle. Ensuite, il y a d'autres aspects tels que la création de modèle, le contrôle de version, la journalisation, la mesure des ensembles de fonctionnalités, la gestion du modèle lui-même, etc.

« Cela implique beaucoup de codage », a déclaré Ristov. La création d'une plate-forme MLOps peut prendre des mois, et les fournisseurs de plates-formes ont beaucoup de travail à faire en matière d'intégration.

« Il y a beaucoup de place pour le développement dans ces différentes directions, de nombreux outils sont encore en cours de développement, l'écosystème est très vaste et les gens ne font que choisir ce dont ils ont besoin. MLOps est encore dans son « adolescence » et la plupart. les entreprises recherchent toujours la configuration la plus idéale. "

Paysage du marché des MLOps

Subramanian d'IDC a déclaré que la taille du marché des MLOps devrait passer de 185 millions de dollars en 2020 à environ 700 millions de dollars en 2025, mais ce marché peut également être sérieusement sous-estimé, car les produits MLOps sont souvent regroupés avec des plates-formes plus grandes. Il a déclaré que la taille réelle du marché des MLOps pourrait dépasser les 2 milliards de dollars d'ici 2025.

Subramanian a déclaré que les fournisseurs MLOps ont tendance à être divisés en trois grandes catégories. La première est constituée des grands fournisseurs de cloud, tels qu'AWS, Azure et Google Cloud. Ces fournisseurs fournissent des fonctionnalités MLOps en tant que service aux clients.

La deuxième catégorie concerne les fabricants de plateformes d'apprentissage automatique, tels que DataRobot, Dataiku, Iguazio, etc.

"La troisième catégorie est ce que nous appelions autrefois les fournisseurs de gestion de données, tels que Cloudera, SAS, DataBricks, etc. Leurs avantages résident dans les capacités de gestion des données et les opérations de données, puis s'étendent aux capacités d'apprentissage automatique, et finalement aux capacités MLOps. ."

Subramanian a déclaré que ces trois domaines ont connu une croissance explosive et que ce qui peut différencier les fournisseurs de MLOps est de savoir s'ils peuvent prendre en charge à la fois les environnements locaux et les modèles de déploiement cloud, s'ils peuvent mettre en œuvre une intelligence artificielle fiable et responsable, et s'ils peuvent implémentez-le immédiatement. Plug and play, qu'il soit facile à étendre, c'est l'aspect qui reflète la différence. « 

Selon une récente enquête d'IDC, le manque de méthodes diverses pour mettre en œuvre une IA responsable est l'un des trois principaux obstacles à la diffusion de l'intelligence artificielle et de l'apprentissage automatique, à égalité en deuxième position avec le manque de MLOps. En grande partie parce qu'il n'y a pas d'autre choix que d'adopter MLOps, Sumit Agarwal, analyste de recherche chez Gartner en matière d'intelligence artificielle et d'apprentissage automatique, a déclaré

« Les autres méthodes sont manuelles, il n'y a donc vraiment pas d'autre choix. Si vous souhaitez évoluer, vous avez besoin d’automatisation. Vous avez besoin d’une traçabilité du code, des données et des modèles. "

Selon une récente enquête Gartner, le temps moyen nécessaire à un modèle pour passer de la preuve de concept à la production est passé de 9 mois à 7,3 mois. "Mais 7,3 mois, c'est encore long, et les opportunités sont nombreuses. pour les entreprises Profitez de MLOps. "

Le changement de culture d'entreprise provoqué par MLOps

Amaresh Tripathy, responsable mondial de l'analyse chez Genpact, a déclaré que la mise en œuvre de MLOps nécessite également un changement culturel en tant qu'équipe d'IA d'entreprise.

"L'impression que les data scientists donnent aux gens est généralement celui d'un savant fou essayant de trouver une aiguille dans une botte de foin. Mais en réalité, les data scientists sont des découvreurs et des explorateurs, et non des usines produisant des widgets. "Les entreprises sous-estiment souvent les efforts qu'elles doivent fournir.

"Les gens peuvent mieux comprendre l'ingénierie et avoir telles ou telles exigences en matière d'expérience utilisateur, mais pour une raison quelconque, les gens ont des exigences complètement différentes en matière de modèles de déploiement. On pourrait supposer que tous les data scientists qui maîtrisent bien les environnements de test déploieront naturellement ces modèles, ou pourront envoyer quelques équipes informatiques pour les déployer, ce qui est faux. Les gens ne comprennent pas ce dont ils ont besoin. »

De nombreuses entreprises ne sont pas conscientes des effets d'entraînement que les MLOps peuvent avoir sur d'autres aspects de l'entreprise, ce qui entraîne souvent d'énormes changements au sein de l'entreprise.

« Vous pouvez installer des MLOps dans les centres d'appels et le temps de réponse moyen augmentera en fait parce que les choses simples sont laissées aux machines et à l'IA, tandis que les choses qui sont laissées aux humains prennent en réalité plus de temps parce que ces choses ont tendance à être plus complexes, donc vous devez repenser ce que sont ces emplois, le type de personnes dont vous avez besoin et les compétences que ces personnes devraient avoir. » Tripathy a déclaré qu'aujourd'hui, moins de 5 % d'entre eux travaillent dans une entreprise. Les décisions sont pilotées par des algorithmes, mais cela évolue rapidement. "Nous prévoyons qu'au cours des cinq prochaines années, 20 à 25 % des décisions seront pilotées par des algorithmes, et chaque statistique que nous voyons montre que nous sommes à un point d'inflexion dans l'expansion rapide de l'intelligence artificielle." MLOps est un élément clé. Sans MLOps, vous ne pouvez pas utiliser l'IA de manière cohérente. MLOps est le catalyseur de la mise à l’échelle de l’IA d’entreprise.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!