データ ウェアハウス テクノロジに関する簡単な説明

この記事では主にデータ ウェアハウスの論理アーキテクチャの設計について説明しますが、これには一定の学習価値があるため、興味のある友人はそれについて学ぶことができます。

オフライン データ ウェアハウスは、通常、ディメンション モデリング理論に基づいて構築されます。オフライン データ ウェアハウスは通常、主に次の点を考慮して論理的に階層化されています:

1. 分離:ユーザーは、次のことを考慮してください。ビジネス システムからの生データではなく、データ チームによって慎重に処理されたデータを使用します。この最初の利点は、ユーザーがビジネスの観点から慎重に準備され、標準化され、クリーンなデータを使用できることです。非常に理解しやすく、使いやすい。第 2 に、上流のビジネス システムが変更または再構築された場合 (テーブル構造、フィールド、ビジネスの意味など)、データ チームはこれらすべての変更を処理し、下流ユーザーへの影響を最小限に抑える責任を負います。

2. パフォーマンスと保守性: 専門家が専門的なことを行う データ階層化により、データ処理は基本的にデータ チーム内で行われるため、同じビジネス ロジックを繰り返し実行する必要がなくなります。 、対応するストレージとコンピューティングのオーバーヘッドを節約します。さらに、データ階層化により、データ ウェアハウスのメンテナンスも明確かつ便利になります。各レイヤーは、独自のタスクのみを担当します。特定のレイヤーでデータ処理に問題がある場合は、そのレイヤーを変更するだけで済みます。

3. 標準化: 企業や組織にとって、データの品質は非常に重要です。誰もが指標について話すとき、それは明確で認識された品質に基づいていなければなりません。テーブル、フィールド、メトリックは標準化する必要があります。

4. ODS レイヤー: データ ウェアハウス ソース システムのデータ テーブルは通常、そのままの状態で保存されます。これは ODS (オペレーション データ ストア) レイヤーと呼ばれ、ODS レイヤーとも呼ばれることがよくあります。ステージング領域として、後続のデータ ウェアハウス レイヤー (つまり、キンボール ディメンション モデリングに基づいて生成されたファクト テーブルおよびディメンション テーブル レイヤー、およびこれらのファクト テーブルと詳細テーブルに基づいて処理されたサマリー レイヤー データ) の処理データのソースとなります。同時に、ODS レイヤーには履歴の増分データまたは完全なデータも保存されます。

5. DWD レイヤーと DWS レイヤー: データ ウェアハウス詳細レイヤー (データ ウェアハウス詳細、DWD) とデータ ウェアハウス概要レイヤー (データ ウェアハウス概要、DWS) は、データウェアハウス。 DWD 層と DWS 層のデータは、ETL のクリーニング、変換、ロード後に ODS 層によって生成され、通常はキンボールの次元モデリング理論に基づいて構築され、各サブトピックの次元は一貫した次元とデータ バスを通じて保証されます。一貫性。

6. アプリケーション層(ADS): アプリケーション層は、主にDWDやDWSをベースに各事業や部門が構築するデータマート(Data Mart、DM)です。 DWD および DWS のデータ ウェアハウス (Data Warehouse、DW) に対する相対値です。一般的にアプリケーション層のデータはDW層から取得されますが、ODS層への直接アクセスは原則として認められません。さらに、DW レイヤーと比較して、アプリケーション レイヤーには、部門または関係者自身が関心を持つ詳細および概要レイヤーのデータのみが含まれます。

さらに技術的なチュートリアルを知りたい場合は、PHP 中国語 Web サイト に注目してください。

以上がデータ ウェアハウス テクノロジに関する簡単な説明の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。