Ce que vous devez savoir sur ces rôles au sein d'une équipe de science des données

Traducteur | Li Rui

Critique | Sun Shujuan

Le service de streaming de renommée mondiale Netflix a changé son système de notation cinq étoiles en 2017 en « pouce levé » (j'aime) et « pouce vers le bas » (Je n'aime pas) Système de notation simple. Le système peut recommander des films en fonction d’un pourcentage de correspondances, mais certaines personnes trouvent cela répréhensible. Alors, comment réduire toutes les nuances de l’art du cinéma à une réponse binaire primitive ?

En fait, Netflix a découvert que les gens évaluaient les films qu’ils jugeaient bons, mais pas nécessairement. C'est du moins ce que disent les données. Alors, comment fonctionne l’analyse des données dans une entreprise comme Netflix ? Quel est le rôle de l’équipe data science ?

NETFLIX FEEDBACK SYSTEM

Gibson Biddle est l'ancien vice-président et directeur des produits de Netflix. Parlant des connaissances des consommateurs, il a expliqué le comportement inattendu des clients qui a conduit à des changements dans l'ensemble du système de notation. Lorsqu'elle est convertie en pourcentage, Netflix a déclaré que même si les téléspectateurs pourraient aimer regarder la comédie d'Adam Sandler, la note pourrait être aussi basse que trois étoiles, tandis que les téléspectateurs pourraient se sentir mieux en regardant La Liste de Schindler et lui attribuer une note de cinq étoiles. , mais cela n'ajoute rien à son plaisir global, et garder les abonnés satisfaits est crucial pour Netflix. Par conséquent, ils ont simplifié le système de rétroaction pour éviter les biais. Mais ces informations sur les clients sont impressionnantes en soi, et elles ne seraient pas possibles sans une culture qui favorise l’utilisation des données et une infrastructure de données solide. En termes techniques, cela s’appelle une organisation basée sur les données. ​

Organisation basée sur les données

Les gens ont peut-être entendu le terme populaire « piloté par les données » à plusieurs reprises, mais qu'est-ce que cela signifie réellement ? Netflix à lui seul enregistre plus de 700 milliards d'événements chaque jour, depuis la connexion et le clic sur les vignettes des films jusqu'à la mise en pause des vidéos et l'activation des sous-titres. Toutes ces données sont disponibles pour les utilisateurs. Tout le monde peut y accéder à l'aide d'outils de visualisation tels que Tableau ou Jupiter, ou via le portail Big Data, un environnement qui permet aux utilisateurs d'inspecter des rapports, de générer des rapports ou d'interroger toutes les informations dont ils ont besoin. Ces données sont ensuite utilisées pour prendre des décisions commerciales, depuis des miniatures plus petites, telles que les miniatures à afficher, jusqu'aux décisions d'entreprise, telles que les émissions dans lesquelles Netflix devrait investir et lancer ensuite.

Netflix n'est pas la seule organisation axée sur les données. On estime qu'environ 97 % des entreprises Fortune 1000 investissent dans des projets tels que l'intelligence artificielle et le big data. Voici un aperçu de la véritable technologie d'infrastructure de données et des ingénieurs de données qui la font fonctionner.

Technologie d'infrastructure de données

Pour décrire le fonctionnement de l'infrastructure de données, les technologues empruntent le terme « pipelines » qui transportent généralement des liquides ou des gaz. Un pipeline de données possède son propre point de départ, son propre point d'arrivée et ses propres stations intermédiaires. C’est donc une métaphore très appropriée. La source des données peut aller du clic sur un bouton de maintien et de l'actualisation d'une page à une conversation enregistrée avec le support client, d'un dispositif de suivi de véhicule à un capteur de vibrations de turbine dans une centrale électrique. Dans le monde d'aujourd'hui, il est en fait difficile de dire ce qui ne peut pas être généré et qui peut dire quelque chose aux gens, même sans données.

Une fois qu'un élément de données est généré, il descend dans le pipeline jusqu'à la zone de préparation. C'est ici que toutes les données brutes sont enregistrées. Les données brutes ne sont pas encore prêtes à être utilisées. Vous devez être préparé. Si cela n’est pas fait, les lacunes doivent être comblées, le format modifié ou les données provenant de différentes sources combinées pour obtenir une vue plus nuancée. Une fois ces opérations réalisées, vous disposerez de données structurées et propres. Toutes ces opérations sont effectuées automatiquement. Ils sont décrits en deux mots.

• Extraction : extrayez les données de la source de données et envoyez-les à la zone de préparation.
• Transformation : préparez les données pour la consommation et le chargement pour pousser les données préparées plus loin dans ETL.

Toutes les données préparées vont dans un autre stockage, l'entrepôt de données.

Entrepôt de données

Contrairement à une zone de préparation, un entrepôt de données est l'endroit où tous les enregistrements stockés sont structurés et prêts à être utilisés. Tout comme le système de classification d'une bibliothèque, les informations de l'entrepôt peuvent être interrogées, visualisées et téléchargées. Pour cela, disposer d’un logiciel de business intelligence (BI) est indispensable. Il présente les données à l'utilisateur final.

Data Listing et Business Analysts

Data Listing et Business Analysts sont des personnes qui effectuent des tâches de base. Ils accèdent aux données, les explorent, les visualisent et tentent de leur donner un sens commercial. Par exemple, les campagnes marketing de l’entreprise sont-elles efficaces ? Quelles sont les chaînes les moins performantes ? Ils agissent comme un système sensoriel, soutenant les entreprises avec des données historiques et fournissant des informations à la direction et, en fin de compte, aux décideurs.

Data Engineer

Data Engineer est responsable de la construction de l'ensemble du pipeline. La plupart des techniciens connaissent bien ce qu'on appelle la « tuyauterie ». Déplacez les données de la source à la destination via des pipelines, en les transformant en cours de route. Ils conçoivent l'architecture du pipeline, mettent en place le processus ETL, configurent l'entrepôt et le connectent aux outils de reporting. Par exemple, Airbnb compte environ 50 ingénieurs de données. L’entreprise peut parfois être confrontée à une approche plus élaborée qui implique quelques règles supplémentaires. Par exemple, les ingénieurs en qualité des données veillent à ce que les données soient capturées et transformées correctement. Avoir des données biaisées ou incorrectes coûte trop cher lorsqu’on essaie d’en tirer des décisions. Il peut y avoir un ingénieur distinct responsable uniquement de l'ETL. De plus, les développeurs de business intelligence se concentrent uniquement sur l’intégration d’outils de reporting et de visualisation. Cependant, les outils de reporting ne font pas la une des journaux, et l’ingénieur de données n’est pas le meilleur métier du 21e siècle, mais l’apprentissage automatique et le data scientist le sont probablement.

Machine Learning et Data Scientists

Il est bien connu que les data scientists sont particulièrement doués pour collecter des données et répondre à des questions complexes à ce sujet, comme par exemple quel sera le chiffre d'affaires de l'entreprise au prochain trimestre ? Quand arrivera la voiture programmée avec Uber ? Quelles sont les chances d’aimer La Liste de Schindler et Uncut Gems ?

Il existe en fait deux façons de répondre à ces questions. Les data scientists travaillent avec des outils de business intelligence et des données d'entrepôt, tout comme les analystes commerciaux et les analystes de données. Ainsi, ils obtiendront les données de l’entrepôt. Parfois, les data scientists utilisent un lac de données : un autre type de stockage pour les données frauduleuses non structurées. Ils créeront un modèle de prévision et proposeront des prévisions pouvant être utilisées par la direction. C'est utile pour les rapports ponctuels sur les estimations de revenus, mais ce n'est pas utile pour prédire les heures d'arrivée des voitures pour les rendez-vous Uber.

La vraie valeur de l'apprentissage automatique est que les modèles de production peuvent fonctionner automatiquement et générer régulièrement des réponses à des questions complexes, parfois des milliers de fois par seconde, et que les choses qu'ils peuvent gérer sont beaucoup plus complexes.

Produire des modèles d'apprentissage automatique

Pour que le modèle fonctionne, une infrastructure est également nécessaire. Parfois, c'est un gros problème. Les data scientists explorent les données dans les entrepôts de données et les lacs de données, mènent des expériences sur celles-ci, sélectionnent des algorithmes et entraînent des modèles pour produire le code final d'apprentissage automatique. Cela nécessite une compréhension approfondie des bases de données statistiques, des algorithmes d’apprentissage automatique et des domaines.

Josh Wills, l'ancien responsable de l'ingénierie des données au SLAC, a déclaré sur Twitter : "Les data scientists sont des gens qui sont meilleurs en statistiques que n'importe quel ingénieur logiciel."

Par exemple, les commanditaires utilisent le logiciel ubereats pour commander de la nourriture. Une fois que l'utilisateur confirme la commande, l'application doit estimer le délai de livraison, l'emplacement du client, le restaurant et les données de commande à envoyer à un serveur sur lequel un modèle d'apprentissage automatique de prédiction de livraison est déployé. Mais ces données ne suffisent pas. Le modèle extrait également des données supplémentaires d'une base de données distincte contenant les temps moyens de préparation des restaurants et d'autres détails. Une fois toutes les données disponibles, le modèle renvoie des prédictions au donneur d'ordre. Mais le processus ne s’arrête pas là. Les prédictions elles-mêmes sont enregistrées dans une base de données distincte. Il visera à surveiller les performances du modèle et à explorer le modèle grâce à des outils d'analyse afin de pouvoir le mettre à jour ultérieurement. Toutes ces données finissent dans des lacs de données et des entrepôts de données.

En fait, le service de commande de nourriture ubereats utilise à lui seul des centaines de modèles différents travaillant simultanément pour noter les recommandations, classer les restaurants dans les recherches et estimer les délais de livraison.

Conclusion

Adam Waxman, responsable des technologies de base chez Foursquare, estime qu'il n'y aura plus de data scientists ni d'ingénieurs en apprentissage automatique à l'avenir, car avec l'automatisation de la formation des modèles et la construction continue d'environnements de production, de nombreux data scientists les emplois deviendront des logiciels Caractéristiques communes du développement.

Titre original : ​​Rôles dans les équipes de science des données​​, auteur : Anomi Ragendran

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!