Was sind die Grundfunktionen eines Data Warehouse?

Zu den Grundfunktionen des Data Warehouse gehören: 1. ETL-Design, einschließlich Datenextraktion und -synchronisierung, Datenbereinigung und Datenkonvertierung, 2. Datenschichtung, die im Allgemeinen in ODS-Schicht, CM-Schicht und ML-Schicht unterteilt ist; . Vorläufige Datenkonstruktionsform.

Die Betriebsumgebung dieses Tutorials: Windows 7-System, Dell G3-Computer.

Data Warehouse, der englische Name ist Data Warehouse, das als DW oder DWH abgekürzt werden kann. Ein Data Warehouse ist eine strategische Sammlung, die alle Arten von Daten für Entscheidungsprozesse auf allen Ebenen eines Unternehmens unterstützt. Es handelt sich um einen einzelnen Datenspeicher, der für analytische Berichts- und Entscheidungsunterstützungszwecke erstellt wurde. Bietet Anleitungen zur Verbesserung von Geschäftsprozessen, zur Überwachung von Zeit, Kosten, Qualität und Kontrolle für Unternehmen, die Business Intelligence benötigen.

Grundfunktionen des Data Warehouse

ETL-Design: Datenextraktion und -synchronisierung, Datenbereinigung und Datenkonvertierung. Einbeziehung relationaler Datenbanken (MySQL, Mariadb, Oracle usw.) und Dokumentdatenbanken (Mongodb, Elasticsearch usw.).

Datenschichtung: Im Allgemeinen unterteilt in ODS-Schicht, CM-Schicht und ML-Schicht. Die ODS-Schicht repräsentiert unverarbeitete Daten. Die CM-Schicht repräsentiert die Daten der Reinigungs- und Zusammenführungsschicht.

Vorläufige Datenmodellierung: Entsprechend der datenhierarchischen ML-Schicht wird im Allgemeinen das relationale Modell (Schneeflockenmodell) oder Sternmodell verwendet, um eine breite Tabelle zu bilden und externe Datenunterstützung bereitzustellen.

Beteiligte Technologien: HDFS, HIVE, HBASE, MR, SPARK, YARN usw.

Data-Warehouse-Architektur

Das Bild unten zeigt die geplante Datenarchitektur unter Bezugnahme auf die Datenarchitektur vieler Unternehmen bei der Arbeit, nur als Referenz.

Weitere Informationen zu diesem Thema finden Sie in der Spalte „FAQ“!

Das obige ist der detaillierte Inhalt vonWas sind die Grundfunktionen eines Data Warehouse?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!