Quelles sont les caractéristiques exceptionnelles d'un entrepôt de données par rapport à une base de données opérationnelle ?

Les fonctionnalités exceptionnelles sont la « prise en charge massive des données » et la « technologie de récupération rapide ». L'entrepôt de données est un environnement de données structuré pour les systèmes d'aide à la décision et les sources de données des applications d'analyse en ligne, et la base de données est le cœur de l'ensemble de l'environnement de l'entrepôt de données, où les données sont stockées et fournissent un support pour la récupération de données par rapport aux bases de données manipulatrices ; Il se caractérise par la prise en charge de données massives et une technologie de récupération rapide.

L'environnement d'exploitation de ce tutoriel : système Windows 7, ordinateur Dell G3.

Par rapport aux bases de données opérationnelles, les fonctionnalités exceptionnelles de l'entrepôt de données sont la « prise en charge massive des données » et la « technologie de récupération rapide ».

Data Warehouse, le nom anglais est Data Warehouse, qui peut être abrégé en DW ou DWH. Un entrepôt de données est une collection stratégique qui prend en charge tous les types de données pour les processus décisionnels à tous les niveaux d'une entreprise. Il s'agit d'un magasin de données unique créé à des fins de reporting analytique et d'aide à la décision. Fournit des conseils sur l’amélioration des processus métier, la surveillance du temps, des coûts, de la qualité et du contrôle pour les entreprises ayant besoin de business intelligence.

L'entrepôt de données est un environnement de données structuré pour les systèmes d'aide à la décision (dss) et les sources de données des applications d'analyse en ligne. L'entreposage de données étudie et résout les problèmes d'obtention d'informations à partir de bases de données. Les entrepôts de données se caractérisent par leur orientation thématique, leur intégration, leur stabilité et leur variabilité temporelle.

Caractéristiques de l'entrepôt de données

L'entrepôt de données est créé pour une exploration plus approfondie des ressources de données et des besoins de prise de décision lorsqu'un grand nombre de bases de données existent déjà. Il ne s'agit pas d'une "grande base de données". Le but de la création d'une solution d'entrepôt de données est de servir de base aux requêtes et analyses frontales. En raison de la grande redondance, le stockage requis est également important. Afin de mieux servir les applications front-end, les entrepôts de données présentent souvent les caractéristiques suivantes :

1. L'efficacité est suffisamment élevée.

Les données d'analyse de l'entrepôt de données sont généralement divisées en jours, semaines, mois, trimestres, années, etc. On peut voir que les données du cycle quotidien nécessitent la plus grande efficacité. Il est nécessaire que les clients puissent voir les données d'hier. 24 heures voire 12 heures. Analyse des données. Étant donné que certaines entreprises disposent d'une grande quantité de données chaque jour, des problèmes surviennent souvent avec des entrepôts de données mal conçus, et les données ne peuvent être fournies qu'après un délai de 1 à 3 jours, ce qui n'est évidemment pas possible.

2. Qualité des données.

Les diverses informations fournies par l'entrepôt de données doivent être des données précises, mais comme le processus de l'entrepôt de données est généralement divisé en plusieurs étapes, notamment le nettoyage des données, le chargement, la requête, l'affichage, etc., l'architecture complexe comportera plus de couches. Ensuite, parce que la source de données contient des données sales ou que le code n'est pas rigoureux, cela peut entraîner une distorsion des données. Lorsque les clients voient des informations erronées, ils peuvent prendre de mauvaises décisions grâce à l'analyse, entraînant des pertes plutôt que des avantages.

3. Extensibilité.

La raison pour laquelle certaines architectures de systèmes d'entrepôt de données à grande échelle sont complexes est qu'elles prennent en compte l'évolutivité dans les 3 à 5 prochaines années. De cette manière, le système d'entrepôt de données peut fonctionner de manière stable sans dépenser trop d'argent pour sa reconstruction. le système d'entrepôt de données trop rapidement à l'avenir. Principalement reflété dans la rationalité de la modélisation des données, il existe des couches intermédiaires supplémentaires dans la solution d'entrepôt de données, de sorte que le flux de données massif dispose de suffisamment de tampon, de sorte que la quantité de données ne soit pas beaucoup plus grande et qu'elle ne puisse pas s'exécuter. .

Comme le montre l'introduction ci-dessus, la technologie des entrepôts de données peut réveiller les données accumulées par les entreprises depuis de nombreuses années. Elle gère non seulement ces données massives pour les entreprises, mais exploite également la valeur potentielle des données, devenant ainsi l'un des points forts. des systèmes d'exploitation et de maintenance des entreprises de communication.

D'une manière générale, un système d'aide à la décision basé sur un entrepôt de données se compose de trois éléments : la technologie d'entrepôt de données, la technologie de traitement analytique en ligne et la technologie d'exploration de données est au cœur du système. En se concentrant sur la technologie des entrepôts de données, cet article présente les principales technologies des entrepôts de données modernes et les principales étapes du traitement des données, et explique comment utiliser ces technologies pour faciliter l'exploitation et la maintenance des systèmes d'exploitation et de maintenance des communications.

4. Orienté vers un sujet

L'organisation des données des bases de données opérationnelles est orientée vers les tâches de traitement des transactions. Chaque système métier est séparé les uns des autres et les données de l'entrepôt de données sont organisées selon certains domaines. Le thème correspond à la nature orientée application des bases de données traditionnelles. Il s'agit d'un concept abstrait qui synthétise, classe, analyse et utilise les données dans les systèmes d'information d'entreprise à un niveau supérieur. Chaque thème correspond à un domaine d'analyse macro. L'entrepôt de données élimine les données inutiles à la prise de décision et offre une vision concise d'un sujet précis.

Composition de l'entrepôt de données

Outil d'extraction de données

extrait les données de diverses méthodes de stockage, effectue la transformation et l'organisation nécessaires, puis les stocke dans l'entrepôt de données. La possibilité d'accéder à diverses méthodes de stockage de données est la clé des outils d'extraction de données. Il doit être capable de générer des programmes COBOL, du langage de contrôle de tâches (JCL) MVS, des scripts UNIX et des instructions SQL pour accéder à différentes données. La transformation des données comprend la suppression de segments de données qui n'ont aucun sens pour les applications de prise de décision ; la conversion en noms et définitions de données unifiés ; le calcul de statistiques et de données dérivées ; l'attribution de valeurs par défaut aux données manquantes et l'unification de différentes méthodes de définition de données.

Base de données

est le cœur de tout l'environnement de l'entrepôt de données, où les données sont stockées et fournit un support pour la récupération des données. Par rapport aux bases de données manipulatrices, ses fonctionnalités exceptionnelles sont la prise en charge de données massives et une technologie de récupération rapide.

Métadonnées

Les métadonnées sont des données qui décrivent la structure et la méthode de création des données dans l'entrepôt de données. On peut les diviser en deux catégories selon les différents usages, les métadonnées techniques et les métadonnées commerciales.

Les métadonnées techniques sont les données utilisées par les concepteurs et les gestionnaires d'entrepôts de données pour développer et gérer quotidiennement l'utilisation des entrepôts de données. Y compris : les informations sur la source de données ; la description de la transformation des données ; la définition des objets et des structures de données dans l'entrepôt de données ; les règles de nettoyage des données et la mise à jour des données ; les droits d'accès des utilisateurs, l'historique de sauvegarde des données et l'historique d'importation des données ; dossiers, historique de diffusion d’informations, etc.

Les métadonnées commerciales décrivent les données de l'entrepôt de données d'un point de vue commercial. Comprenant : la description des sujets commerciaux, les données incluses, les requêtes et les rapports ;

Metadata fournit un répertoire d'informations (répertoire d'informations) pour accéder à l'entrepôt de données. Ce répertoire décrit de manière exhaustive quelles données se trouvent dans l'entrepôt de données et comment les données sont obtenues. , et comment accéder à ces données. Il constitue le centre de l'exploitation et de la maintenance de l'entrepôt de données. Le serveur de l'entrepôt de données l'utilise pour stocker et mettre à jour les données, et les utilisateurs l'utilisent pour comprendre et accéder aux données.

Data mart

Une partie des données indépendante de l'entrepôt de données pour un objectif d'application ou un champ d'application spécifique, qui peut également être appelée données de département ou données de sujet (domaine). Dans le processus de mise en œuvre d'un entrepôt de données, vous pouvez souvent commencer par le magasin de données d'un service, puis utiliser plusieurs magasins de données pour former un entrepôt de données complet. Ce qu'il faut noter, c'est que lors de la mise en œuvre de différents data marts, les définitions de champs ayant la même signification doivent être compatibles, afin que cela ne pose pas de gros problèmes lors de la mise en œuvre future d'un entrepôt de données.

Dans le célèbre rapport Garnter étranger sur les produits de data mart, les produits de business intelligence agiles du premier quadrant incluent QlikView, Tableau et SpotView. Ce sont tous des produits de data mart informatiques à mémoire complète. plus compétitifs que les produits de business intelligence traditionnels constituent un défi. Les produits de BI nationaux ont démarré tardivement. Les produits de business intelligence agiles bien connus incluent PowerBI, Z-Suite de Yonghong Technology, SmartBI, les logiciels de business intelligence FineBI, etc. Parmi eux, Z-Data Mart de Yonghong Technology est un produit du marché des données informatiques en mémoire. Domestic Deon Information est également un intégrateur de systèmes de produits de datamart.

Gestion de l'entrepôt de données

Gestion de la sécurité et des privilèges ; Suivre les mises à jour des données ; Contrôler et mettre à jour les métadonnées ; Auditer et créer des rapports sur l'utilisation et l'état de l'entrepôt de données ; Copier, diviser et distribuer les données ; ; gestion du stockage.

Le système de publication d'informations

envoie des données dans l'entrepôt de données ou d'autres données associées à différents emplacements ou utilisateurs. Le système de publication d'informations basé sur le Web constitue le moyen le plus efficace de gérer l'accès multi-utilisateurs.

Les outils d'accès

fournissent aux utilisateurs des moyens d'accéder à l'entrepôt de données. Il existe des outils de requête de données et de reporting, des outils de développement d'applications, des outils de système d'information de gestion (EIS), des outils d'analyse en ligne (OLAP) et des outils d'exploration de données.

Pour plus de connaissances connexes, veuillez visiter la rubrique FAQ !

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!