Comment construire un système de gouvernance des données orienté IA ?

Ces dernières années, avec l'émergence de nouveaux modèles technologiques, le perfectionnement de la valeur des scénarios d'application dans diverses industries et l'amélioration des effets des produits grâce à l'accumulation de données massives, les applications d'intelligence artificielle se sont développées de la consommation , Internet et d'autres domaines rayonnent dans l'industrie manufacturière, l'énergie et l'électricité et d'autres industries traditionnelles. La maturité de la technologie de l'intelligence artificielle et son application dans les entreprises de divers secteurs dans les principaux maillons des activités de production économique telles que la conception, l'approvisionnement, la production, la gestion et les ventes s'améliorent constamment, accélérant la mise en œuvre et la couverture de l'intelligence artificielle dans tous les maillons, et l'intégrer progressivement à l'activité principale, afin d'améliorer le statut industriel ou d'optimiser l'efficacité opérationnelle, et d'étendre davantage ses propres avantages.

La mise en œuvre à grande échelle d'applications innovantes de la technologie de l'intelligence artificielle a favorisé le développement vigoureux du marché de l'intelligence Big Data et a également injecté une vitalité au marché dans les services sous-jacents de gouvernance des données.

Avec le développement du big data, du cloud computing et des algorithmes, l'engouement pour l'intelligence artificielle s'est poursuivi il y a quelques années jusqu'à aujourd'hui, et est largement utilisée dans de nombreuses industries et domaines, devenant un technologie actuelle en cours Une technologie leader de la révolution. Et comment l’intelligence artificielle peut-elle être absente du domaine en plein essor de la gouvernance des données ? Gouvernance des données et intelligence artificielle sont deux mots apparemment sans rapport. Une fois réunis, quelle histoire se produira-t-il ?

1. La gouvernance des données jette les bases de l'intelligence artificielle

Le Big data est l'accumulation, le nettoyage, la conversion, la classification, etc. continus de données, tandis que la gouvernance des données fournit un modèle de gestion plus standardisé pour la présentation du big data. données . La plupart des formes actuelles d’intelligence artificielle nécessitant une grande quantité de calculs de données, elles sont indissociables du support du big data et de la gouvernance des données. L’intelligence artificielle doit s’appuyer sur des plateformes et des technologies Big Data pour contribuer à achever l’évolution du deep learning.

1. La gouvernance des données fournit des données de haute qualité pour l'intelligence artificielle

La plupart des intelligences artificielles sont divisées en deux maillons : la formation et la prédiction. L'effet des algorithmes de formation automatique dépend de la qualité des données d'entrée. Si les données d'entrée sont biaisées, l'algorithme de sortie sera également biaisé, ce qui peut directement conduire à l'inutilisabilité des résultats obtenus. La gouvernance des données joue un rôle important dans l’amélioration de la qualité des données. En triant les exigences en matière de qualité des données, en définissant les règles d'inspection de la qualité des données, en formulant des plans d'amélioration de la qualité des données, en concevant et en mettant en œuvre des outils de gestion de la qualité des données et en surveillant les procédures opérationnelles et les performances de gestion de la qualité des données, les entreprises peuvent obtenir des données propres et clairement structurées, fournissant des données fiables. contribution aux technologies d’intelligence artificielle telles que l’apprentissage profond.

2. La gouvernance des données garantit la confidentialité des données pour l'intelligence artificielle

Les plus grandes contraintes auxquelles est actuellement confronté le développement de l'intelligence artificielle sont les problèmes de propriété des données et de protection de la vie privée. Les données personnelles doivent être protégées. L’utilisation abusive de ces données peut entraîner d’énormes pertes matérielles, voire des blessures corporelles. La soi-disant protection de la vie privée est en réalité la protection des données privées, en dernière analyse, la protection de la vie privée des utilisateurs de données. Les outils de gouvernance des données conçoivent de nombreux aspects de la protection des données privées à un niveau technique, en fournissant une fuzzification des données, une désensibilisation des données et un cryptage des données, qui peuvent jeter les bases de la protection des données personnelles de l'entreprise, assurant ainsi la conformité des données pour les applications d'intelligence artificielle.

2. L'intelligence artificielle améliore le niveau d'intelligence de la gouvernance des données

1. Gestion des métadonnées

Dans la gestion traditionnelle des métadonnées, pour les données non structurées la collecte est généralement effectuée en créant un index de recherche de données non structurées. Les technologies d'intelligence artificielle telles que la reconnaissance vocale, la reconnaissance d'images et l'analyse de texte peuvent aider à construire le vocabulaire commercial initial des métadonnées et devenir un pool de ressources pour extraire diverses métadonnées non structurées précieuses.

2. Gestion des normes de données

Au début de la mise en œuvre des normes de données, il est nécessaire de mener une enquête approfondie sur les champs de base de données du système existant et d'identifier les champs métiers communs et réutilisés comme la base de l’établissement de normes de données. Si tout cela est fait manuellement, cela nécessitera la coordination d’un grand nombre de personnes provenant de différents départements commerciaux, ce qui entraînera une charge de travail énorme et sera sujette aux erreurs. Grâce à l'apprentissage automatique et à la technologie de traitement du langage naturel, les racines à haute fréquence peuvent être rapidement triées en fonction des noms d'entreprises sur le terrain, et un travail qui peut prendre des mois peut être achevé en quelques jours.

Un autre aspect important de la gestion des normes de données est la cartographie des normes et des métadonnées. Dans de nombreux systèmes d'entreprise, mapper les normes de données aux métadonnées des systèmes d'entreprise est souvent un cauchemar pour les ingénieurs d'implémentation, et il est facile de commettre des erreurs si vous n'y faites pas attention. Grâce à la technologie d'intelligence artificielle, nous pouvons effectuer un traitement du langage naturel sur les noms de domaines d'activité, segmenter avec précision les mots et cartographier automatiquement les normes de données et les métadonnées en fonction de la similarité des racines.

3. Gestion de la qualité des données

La qualité des données est la base pour garantir une application efficace des données. Le système d'index pour mesurer la qualité des données comprend l'exhaustivité, la normalisation, la cohérence, l'exactitude, l'unicité et l'actualité. Avant de mettre en œuvre le plan d'amélioration de la qualité des données, il est nécessaire de sélectionner un système d'indicateurs de qualité des données approprié, basé sur différentes règles commerciales et attentes commerciales, et de nettoyer les données.

Généralement, le modèle idéal pour améliorer la qualité des données consiste à supprimer les données sales de la source de données, mais cela n'est pas réalisable dans la réalité. Par conséquent, selon les attentes des entreprises, la qualité des données à chaque étape de l’activité doit être améliorée de manière ciblée. L'apprentissage automatique (tel que l'apprentissage de classification, le regroupement, la régression, etc.) peut extraire et identifier les problèmes de qualité existants, formulant ainsi des indicateurs efficaces d'évaluation de la qualité des données et maximisant l'amélioration de la qualité des données sous cet indicateur. Dans le même temps, l'apprentissage supervisé et l'apprentissage profond permettront également d'évaluer les effets du nettoyage et de la qualité des données, améliorant ainsi les règles de conversion et les dimensions d'évaluation de la qualité des données, et mettant à jour dynamiquement les plans d'amélioration de la qualité des données à mesure que le volume de données et les attentes commerciales changent progressivement.

4. Sécurité des données

La sécurité des données fait référence au processus ou à l'état de protection des informations ou des systèmes d'information contre tout accès, utilisation, dommage, modification et destruction non autorisés. La technologie de l'intelligence artificielle peut classer et classer les données sensibles. L'application de l'apprentissage automatique, du traitement du langage naturel et de la technologie de classification par regroupement de textes permet de classer et de classer avec précision les données en temps réel en fonction du contenu. La classification et la classification des données sont le maillon central de la gouvernance de la sécurité des données. Par exemple, l'utilisation de moteurs de classification des données a considérablement amélioré la sécurité dans des domaines tels que le filtrage du contenu des e-mails, la gestion des fichiers confidentiels, l'analyse des renseignements, la lutte contre la fraude et la prévention des fuites de données.

5. Gestion des données de référence

Les données de référence font référence aux données des entités commerciales principales de l'entreprise, également appelées données d'or, qui sont répétées et partagées sur l'ensemble de la chaîne de valeur et appliquées. À plusieurs processus métiers, les données de base partagées entre chaque département métier et chaque système constituent la base de l'interaction des informations entre chaque application métier et chaque système. Cependant, dans le processus de gestion des données de base, les entreprises peuvent être confrontées à des problèmes tels que la manière d'identifier les données de base parmi un grand nombre d'éléments de données et la manière d'établir des normes unifiées en matière de données de base.

La détermination des données de référence dépend de la compréhension par l'entreprise des besoins métiers et de la définition des « données en or » correspondantes. D'une manière générale, chaque domaine de données de base dispose de son propre système d'enregistrement dédié et est dispersé dans différents systèmes d'entreprise. Les technologies liées à l'intelligence artificielle peuvent nous aider à filtrer les données qui apparaissent ou circulent fréquemment de toutes les données, tout en déterminant rapidement les sources de données fiables et dignes de confiance des données de référence et en créant une vue complète des données de référence.

6. L'intelligence artificielle aide à dupliquer les données pour faire correspondre et fusionner automatiquement les données

L'un des défis auxquels est confrontée la gestion des dramatiques numériques est de faire correspondre et de fusionner les mêmes éléments de données ou de dupliquer des éléments de données dans de nombreux systèmes de l'entreprise. Une façon de résoudre ce défi consiste à élaborer des règles de mise en correspondance des données, y compris l'acceptation de correspondance à différents niveaux de confiance. . Certaines correspondances nécessitent un niveau de confiance très élevé et peuvent être basées sur une correspondance précise des données dans plusieurs champs ; certaines correspondances peuvent être obtenues avec un niveau de confiance inférieur simplement en raison de valeurs de données contradictoires. L'apprentissage automatique et le traitement du langage naturel peuvent aider à établir des règles de correspondance pour l'identification des données en double. Après avoir identifié les données de base avec des champs en double, la fusion automatique ne sera pas effectuée et les enregistrements liés aux données de base pourront être déterminés et les relations de références croisées établies.

3. Intelligentisation de la plateforme de gouvernance des données

Abaisser le seuil de la gouvernance des données grâce à la technologie de l'intelligence artificielle deviendra une direction importante pour le développement de la gouvernance des données. Prenant pleinement en compte la grande complexité de la gouvernance des données, la plateforme de gouvernance des données continue d'intégrer de nouvelles technologies d'IA, s'efforçant de simplifier le processus de mise en œuvre de la gouvernance des données grâce à une gestion intelligente, libérant considérablement le personnel technique et aidant les entreprises à parvenir à une gouvernance des données plus efficace et à rester à l'écart. du "trou noir des données".

1. Service de métadonnées intelligent. La plate-forme Ruizhi prend en charge la collecte et l'association de métadonnées entièrement automatiques, réalise une application intelligente des métamodèles et fournit des vues graphiques d'analyse des métadonnées.

2. Exploration intelligente de la qualité des données. La plate-forme Ruizhi intègre des algorithmes statistiques mathématiques et des algorithmes d'apprentissage automatique liés pour détecter automatiquement la qualité des données et prendre en charge une réparation intelligente.

3. Construction intelligente de normes de données. La plateforme Ruizhi prend en charge la cartographie et le marquage intelligents, l'élaboration de normes de données et l'évaluation bidirectionnelle des données commerciales.

4. Identification intelligente des données de base. La plateforme Ruizhi identifie automatiquement les données de base, permet de dupliquer les données automatiquement et de les fusionner, et crée une vue complète des données de base.

Avec le développement rapide des deux domaines de la gouvernance des données et de l'intelligence artificielle, l'intégration des deux aura plus de scénarios et de modèles économiques.

4. Intégration industrielle de la gouvernance des données + IA

La mise en œuvre à grande échelle d'applications technologiques innovantes d'IA a stimulé le développement fulgurant du marché de l'intelligence Big Data

Quand les entreprises déploient des applications d'IA , l'optimisation des ressources de données Les avantages déterminent grandement l'effet de mise en œuvre des applications d'IA. Par conséquent, afin de promouvoir une mise en œuvre de haute qualité des applications d’IA, la réalisation d’un travail ciblé de gouvernance des données est la première et nécessaire étape. Quant au système traditionnel de gouvernance des données que l'entreprise elle-même a construit, il se concentre actuellement sur l'optimisation de la gouvernance des données structurées. Il est encore difficile de répondre aux besoins des applications d'IA en matière de données dans les dimensions de la qualité des données, de la richesse des champs de données, des données. distribution et données en temps réel. Exigences de qualité élevées. Afin de garantir une mise en œuvre de haute qualité des applications d'IA, les entreprises doivent encore mettre en œuvre une gouvernance des données secondaires pour les applications d'intelligence artificielle.

La gouvernance des données pour l'intelligence artificielle est une « mise à niveau » du système de gouvernance des données traditionnel guidée par la mise en œuvre d'applications d'IA.

Du point de vue de la gestion des données, le système de gouvernance des données pour l'intelligence artificielle s'adaptera toujours à la mise en place de la gestion des métadonnées, de la gestion des actifs de données et de la gestion des données de référence basées sur un flux structuré de données, les besoins de gestion des actifs de données et la sécurité des données. besoins, etc., gestion du cycle de vie des données et gestion de la confidentialité de la sécurité des données et d'autres modules de composants. Dans le processus de gouvernance des données , l'accent sera davantage mis sur la couche inférieure pour parvenir à la fusion de données multi-sources, à la fréquence de collecte des données, à l'établissement de normes de données et à la gestion de la qualité des données afin de répondre à l'échelle, à la qualité et à l'actualité des données requises pour l'IA. modèles et répondre aux besoins en données des applications d'IA. En tant que noyau, optimiser la construction du système des modules correspondants.

Le pilote d'application IA est devenu le point d'appui principal des services de gouvernance des données axés sur l'intelligence artificielle

Les services de gouvernance des données orientés vers l'intelligence artificielle sont souvent inclus dans trois types de formulaires d'approvisionnement : les services de données, les capacités de la plateforme et les produits de données. La première catégorie, les services de données, apparaît sous la forme de produits de gouvernance des données distincts ; la deuxième catégorie, les plateformes de données, comprend principalement les plateformes de big data, les plateformes de data middle, les entrepôts de données et les plateformes de capacités d'IA et d'autres projets ; portée Les produits de données limités à l'application d'algorithmes d'IA peuvent être divisés en trois types de produits d'IA : les produits d'apprentissage automatique, les produits de compréhension du langage naturel et les graphiques de connaissances.

De nos jours, la demande de produits d'IA est forte, et la plateforme de développement d'IA a successivement favorisé la mise en œuvre à grande échelle de produits d'IA, et l'effet de la gouvernance des données d'IA est étroitement lié à effet de livraison du produit de plateforme final.

De manière générale, l'application d'une technologie de pointe peut rendre le travail de gouvernance des données plus rationalisé, automatisé et intelligent, tout en rendant les données évolutives, plus responsables, traçables et plus fiables, ce qui est devenu l'avenir de la gestion des données. seule façon de se développer.

Créer un cycle vertueux de système « gouvernance + IA »

Interdépendants et mutuellement dépendants, promouvant conjointement le développement interne et externe d'applications d'intelligence artificielle

Gouvernance adéquate des données pour les applications d'intelligence artificielle Intelligence L'utilisation de la technologie d'apprentissage automatique pour automatiser et intelligentiser le processus de gouvernance des données peut améliorer considérablement l'efficacité de la gouvernance des données. En même temps, elle peut exploiter la valeur applicative des données non structurées associées sur la base de la compréhension du langage naturel et des graphiques de connaissances, et résoudre les problèmes traditionnels de. gestion de la qualité des données et rendre la gouvernance plus efficace. Les données résultantes sont plus conformes aux exigences des applications d'IA, favorisant la mise en œuvre de modèles d'IA à la fois en termes d'efficacité et de qualité.

Dans le même temps, l'optimisation significative de l'effet de mise en œuvre des applications d'IA apportera également plus de confiance aux entreprises dans la transformation intelligente, leur permettant d'augmenter les investissements budgétaires dans les projets d'IA connexes, et de promouvoir davantage la construction d'une gouvernance pertinente. systèmes, et créer "Un cycle vertueux de "gouvernance + IA"

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!