Quel est le rôle des MLOps ?

Êtes-vous intéressé à devenir ingénieur MLOps ? Apprenez-en davantage sur le rôle d’ingénieur MLOps dès aujourd’hui.

Un modèle d'apprentissage automatique a donc été construit. Il atteint les performances attendues sur l’ensemble de données de validation. Ce fut un plaisir d'appliquer les compétences en science des données et en apprentissage automatique pour construire ce modèle. Cependant, il n'est pas très utile de réaliser que le modèle fonctionne (encore) correctement sur votre machine locale dans un notebook Jupyter.

Pour que les utilisateurs bénéficient du modèle et que les entreprises profitent de l'apprentissage automatique, le modèle doit être déployé dans un environnement de production. Cependant, le déploiement et la maintenance de modèles d’apprentissage automatique ne sont pas sans défis. Un modèle qui fonctionne bien dans un environnement de développement peut échouer lamentablement dans un environnement de production. Cela peut être dû à une dérive des données et des concepts et à d'autres facteurs qui entraînent une dégradation des performances.

Alors réalisez : pour que les modèles d'apprentissage automatique soient utiles, vous devez aller au-delà de la construction de modèles. C'est là que les MLOps entrent en jeu. Aujourd'hui, découvrez MLOps et le rôle d'un ingénieur MLOps dans une organisation.

Que sont les MLOps ?

Souvent, on trouvera le MLOps défini comme l'application des principes DevOps à l'apprentissage automatique.

Le cycle de vie du développement logiciel (SDLC) a changé pour le mieux à mesure que les pratiques DevOps simplifient la collaboration interfonctionnelle entre les équipes de développement et d'exploitation. Si vous connaissez quelqu'un qui travaille dans DevOps, vous l'aurez entendu parler de pipelines CI/CD, de pipelines CI/CD automatisés, de surveillance des applications, etc.

Bien que cela puisse être transféré aux applications d'apprentissage automatique, les systèmes d'apprentissage automatique présentent certains défis spécifiques. Créer et exécuter des systèmes d’apprentissage automatique est un processus plus complexe.

De manière générale, les MLOps peuvent être considérés comme un ensemble de bonnes pratiques pour créer, déployer et maintenir des systèmes d'apprentissage automatique.

Dans cet esprit, allez-y et découvrez le travail des ingénieurs MLOps dans votre organisation.

Que fait un ingénieur MLOps ?

Les pratiques DevOps peuvent être appliquées aux systèmes d'apprentissage automatique. Si c'est du MLOps, alors il est de la responsabilité de l'ingénieur MLOps d'y parvenir !

Qu'est-ce que cela signifie ? Une fois que l'équipe de science des données a construit le modèle, les ingénieurs MLOps font fonctionner le modèle avec succès en :

• Déploiement automatisé du modèle d'apprentissage automatique
• Configuration de la surveillance des pipelines ML
• Pipelines CI/CD automatisés pour gérer les modifications des données, du code et du modèle
• Configurer le recyclage automatique des modèles
• Déterminer le niveau d'automatisation requis

Quelques défis associés au MLOps

Configurer la surveillance uniquement pour aider à identifier les problèmes qui surviennent. Pour obtenir des informations plus détaillées sur les performances des différentes versions d'un modèle, les ingénieurs MLOps utilisent souvent la gestion des versions du modèle et le suivi des expériences.

J'ai mentionné que les ingénieurs MLOps ont mis en place un recyclage des modèles avec le niveau d'automatisation souhaité. Essayez de comprendre les défis qui y sont associés.

Une fois l'application déployée en production, les données utilisées par le modèle en production peuvent être très différentes des données sur lesquelles il a été formé. En conséquence, ces modèles fonctionneront mal et devront souvent être recyclés.

Les ingénieurs MLOps gèrent également l'automatisation des processus de recyclage et de recyclage en prenant en compte la dégradation des performances, la fréquence des modifications de données et les coûts de recyclage des modèles.

Dans certaines startups, il peut y avoir des ingénieurs en machine learning qui portent également la casquette d'ingénieur MLOps. Dans d’autres entreprises, il y a des ingénieurs DevOps et backend qui portent plusieurs casquettes.

Les MLOps d'une grande entreprise technologique peuvent être très différents des MLOps d'une startup en démarrage. Le niveau d'automatisation MLOps peut également varier d'une organisation à l'autre.

Si vous avez travaillé dans une startup et êtes propriétaire du pipeline d'apprentissage automatique de bout en bout (de la formation des modèles à la surveillance et à la maintenance du système d'apprentissage automatique), vous êtes déjà un ingénieur MLOps.

Envie d'explorer le rôle stimulant d'ingénieur MLOps ? Résumez les compétences requises.

Ensembles de compétences et outils MLOps : présentation

Les ingénieurs MLOps possèdent généralement de solides compétences en ML, DevOps et en ingénierie des données.

Le rôle de l'ingénieur MLOps dans l'organisation

• Compétences en apprentissage automatique : connaissance pratique et connaissance du domaine de la programmation, des algorithmes et des cadres d'apprentissage automatique
• Compétences en ingénierie logicielle : interrogation et utilisation de bases de données, tests de modèles ML, Git et contrôle de version, FastAPI et autres frameworks
• Bases du DevOps : maîtrise de Docker, Kubernetes et autres outils
• Suivi des expériences : familier avec les cadres de suivi des expériences tels que MLflow
• Organisation des pipelines de données : utilisez des outils tels que Prefect et Airflow pour configurer et automatiser les pipelines de données
• Infrastructure cloud : familier avec les fournisseurs d'infrastructures cloud tels qu'AWS et GCP et Terraform Infrastructure as Code Tools (IaC)

Apprendre MLOps

Si vous souhaitez en savoir plus sur MLOps, voici une liste de ressources pour vous aider à démarrer :

• MLOps au DataTalks.Club Zoomcamp : Le zoomcamp MLOps de DataTalks.Club est un cours gratuit pour apprendre tout ce qui concerne le MLOps - de la création de modèles aux meilleures pratiques de déploiement et de surveillance. Vous apprendrez en construisant un projet qui rassemble tout ce que vous avez appris.
• Spécialisation MLOps sur Coursera : spécialisation Machine Learning Engineering for Production (MLOps) de DeepLearning.AI. Cette majeure en quatre cours enseigne comment créer des systèmes d'apprentissage automatique de qualité production.
• Dépôts MLOps GitHub : une liste organisée de référentiels à mettre à niveau dans MLOps.

Résumé

Dans cet article, les principales responsabilités d'un ingénieur MLOps dans une organisation et les compétences clés MLOps ont été présentées.

Comme mentionné précédemment, tous les ingénieurs qui effectuent des MLOps ne sont pas appelés ingénieurs MLOps. Nous discutons également de la manière dont le niveau d'automatisation et le recours au travail quotidien réel dans MLOps varient d'une organisation à l'autre.

Comme tout autre rôle, être un ingénieur MLOps performant nécessite des compétences générales telles qu'une communication efficace, une collaboration et une résolution stratégique de problèmes. Cela dit, si vous souhaitez vous essayer à devenir ingénieur MLOps, joyeux MLOps !

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!