データ ウェアハウスとデータベースの違いは何ですか?

データ ウェアハウスとデータベースの違い: 1. データベースは生データを一切処理せずに保存しますが、データ ウェアハウスはデータ分析のニーズを満たすように設計されており、ETL プロセスとデータ抽出作業はデータ ウェアハウスで実行されます。ソース データは、抽出、クリーニング、変換、ロードに分けられます; 2. データ ウェアハウス内のデータの量は、データベースのデータ量よりもはるかに多くなります。

#(推奨チュートリアル:

mysql ビデオ チュートリアル)

1. データ ウェアハウス

データ ウェアハウスとは何ですか?
1. データ ウェアハウス (DW または DWH と略されることもあります) データ ウェアハウスは、企業のあらゆるレベルでの意思決定および計画プロセスのための、あらゆる種類のデータの戦略的なコレクションです。これは、分析レポートと意思決定支援を目的として作成されました。ビジネス インテリジェンスを必要とする企業は、ビジネス プロセスの改善を導き、時間、コスト、品質、管理などを監視する必要があります。
   
2. データ ウェアハウスで何ができるでしょうか? (栗の部分をいくつか引用します)
   年間売上目標の設定は、過去の実績報告に基づいて決定する必要があり、気軽に設定できるものではありません。
   1. ビジネス プロセスの最適化
   2. たとえば: 特定の電子商取引プラットフォーム上の特定のブランドの携帯電話について、過去 5 年間の主な購入者の年齢層は何ですか? そのシーズンでは、購入数が多かったので、この機能に基づいてターゲットグループの主なニーズを設定し、生成された生産量と倉庫在庫を動的に割り当てることができます。
      
3. データ ウェアハウスの特徴
   1. データ ウェアハウスは主題指向です。
      
      1. 従来のデータベースとは異なり、データ ウェアハウスはサブジェクト指向です。ホームページのテーマは上位概念であり、企業情報システムにおけるデータの統合、分類、分析の上位レベルでの対象となります。論理的には、企業内の特定のマクロ分析分野に関与する分析オブジェクトです。 (人間の言葉で言えば、これはユーザーがデータ ウェアハウスを使用して意思決定を行う際に懸念する重要な側面です。トピックは通常、複数の運用情報システムに関連しており、運用データベースのデータ構成はトランザクション処理タスクに向けられており、それぞれのタスクは互いに分離されています。);
   2. データ ウェアハウスは統合されています。
      
      1. データ ウェアハウス内のデータは、元の分散データベース データ (mysql およびその他のリレーショナル データベース) から抽出されます。運用データベースと DSS (意思決定支援システム) 分析データベースの間には大きな違いがあります。第一に、データ ウェアハウス内の各トピックに対応するソース データには、散在するすべてのデータベースで多くの繰り返しと差異があり、異なるオンライン システムからのデータが異なるアプリケーション ロジックにバンドルされているためです。第二に、データ ウェアハウス内の包括的なデータは、元のデータベース システムから直接取得されます。したがって、データがデータ ウェアハウスに入る前に、データは統合と合成を経る必要があります。このステップは、データ ウェアハウスの構築において最も重要かつ複雑なステップです。実行すべき作業は次のとおりです:
         
         # ソースをカウントするには 同じ名前のフィールド、異なる名前と同義語、一貫性のない単位、一貫性のない語長など、データ内のすべての矛盾。
         1. データの合成と計算を実行します。データ ウェアハウスでのデータ合成作業は、元のデータベースがデータを抽出するときに生成されることもありますが、多くはデータ ウェアハウス内で生成され、つまりデータ ウェアハウスに入った後に合成されて生成されます。
   #データ ウェアハウス内のデータは時間の経過とともに変化します。
   3. 
      
      データ ウェアハウス内のデータはアプリケーションに対して更新できないため、データ ウェアハウスのユーザーは分析や処理を行う際にデータ更新操作を実行しません。ただし、データ統合の開始からデータ ウェアハウスへのデータ統合の開始から最終的に削除されるまでのライフ サイクル全体を通じて、すべてのデータ ウェアハウス データが決して変更されないという意味ではありません。
      1. データ ウェアハウス内のデータは時間とともに変化します。これはデータ ウェアハウスの特性の 1 つです。この機能には、主に次の 3 つの特徴があります。
      2. 
         
         データ ウェアハウスは、時間の変化に応じて新しいデータ コンテンツを追加し続けます。データ ウェアハウス システムは、OLTP データベース内の変化するデータを継続的にキャプチャし、それをデータ ウェアハウスに追加する必要があります。つまり、OLTP データベースのスナップショットを継続的に生成し、統合統合を通じてそれらをデータ ウェアハウスに追加する必要があります。変更されないスナップショット。新しく変更されたデータがキャプチャされた場合、元のデータベース スナップショットは変更されずに、新しいデータベース スナップショットのみが生成および追加されます。
         1. データベースは、時間の変化に応じて古いデータ コンテンツを継続的に削除します。データウェアハウス内のデータにも保存期間があり、この期間を過ぎると期限切れのデータは削除されます。データベースのデータ存続期間制限が、運用環境のデータ存続期間制限よりもはるかに長いというだけです。運用環境では、一般に 60 ～ 90 日分のデータのみが保存されますが、データ ウェアハウスでは、傾向分析のための DSS の要件を満たすために、より長期間のデータ (たとえば、5 ～ 10 年) を保存する必要があります。
         2. データ ウェアハウスには大量の包括的なデータが含まれており、これらの包括的なデータの多くは時間に関連しています。たとえば、データは多くの場合、期間に従って合成されたり、特定のタイム スライスなどでサンプリングされたりします。これらのデータは、時間の変化に応じて継続的に再合成する必要があります。したがって、データ ウェアハウスのデータ特性には、データの履歴期間を示す時間項目が含まれます。
   #データ ウェアハウス内のデータは変更できません。
   4. 1. データ ウェアハウス内のデータは主に企業の意思決定分析に使用され、データ操作は主にデータ クエリであり、通常は変更操作は実行されません。データ ウェアハウス内のデータは、長期間にわたる履歴データの内容を反映しています。これは、さまざまな時点でのデータベース スナップショットのコレクションと、これらのスナップショットの統計、合成、再構成に基づいてエクスポートされたデータです。データはオンラインで処理されます。データベース内のオンライン処理用のライブラリは統合されてデータウェアハウスに入力され、データウェアハウスに保存されたデータは、データウェアハウスのデータ保存期間を超えた場合、現在のデータウェアハウスから削除されます。データ ウェアハウスはデータ クエリ操作のみを実行するため、データ ウェアハウス内のシステムはデータベース内のシステムよりもはるかに単純です。整合性保護、同時実行制御など、データベース管理システムにおける多くの技術的問題は、データ ウェアハウス管理ではほぼ解消できます。ただし、データ ウェアハウスでクエリされるデータの量は多くの場合大量であるため、データ クエリにはより高い要件が提示され、さまざまな複雑なインデックス作成テクノロジの使用が必要になります。同時に、データ ウェアハウスは企業の上級管理者を対象としています。データ クエリのインターフェイスの使いやすさとデータ表現により、より高い要件が要求されます;

2. データ ウェアハウスとデータベースの違い

1. 
   違いを理解する前に、データベース ソフトウェア、データベース、データ ウェアハウスとは何ですか?という 3 つの概念を理解する必要があります。
   1. データベース ソフトウェア: これは一種のソフトウェアです (データベースにリンクするグラフィカル クライアントではありません)。これはデータベースの論理プロセスを実装するために使用され、物理層に属します。
   2. データベース: これは論理的な概念であり、データを保存するために使用される倉庫であり、データベース ソフトウェアによって実装されます。データベースは多数のテーブルで構成されており、テーブルは 2 次元であり、1 つのテーブルに多くのフィールドがあります。フィールドは 1 行に配置され、データは行ごとにテーブルに書き込まれます。データベース テーブルは、多次元の関係を 2 次元で表現できます。例: Oracle、DB2、MySQL、Sybase、MSSQL サーバーなど。
   3. データ ウェアハウス: データベースの概念をアップグレードしたものです。論理的に言えば、データベースとデータ ウェアハウスに違いはなく、どちらもデータベース ソフトウェアを介してデータが保存される場所ですが、データ量の点では、データ ウェアハウスの方がデータベースよりもはるかに大きくなります。データ ウェアハウスは主に、リーダーの意思決定を支援するデータ マイニングとデータ分析に使用されます。
   4. IT アーキテクチャ システムでは、データベースが存在し、データを保存する場所が必要です。たとえば、現在のオンラインショッピングやその他の電子商取引です。アイテムの在庫、アイテムの価格、ユーザーのアカウント残高などこれらのデータはバックグラウンド データベースに保存されます。最も簡単に理解できるのは、WeChat、Weibo、QQ などの現在のアカウントとパスワードです。バックグラウンド データベースは、少なくとも 2 つのフィールド (ユーザー名とパスワード) を持つユーザー テーブルである必要があり、データはテーブルに行ごとに保存されます。ログインするときにユーザー名とパスワードを入力すると、テーブル内のデータと照合するためにデータがバックエンドに送信され、照合が成功するとログインできます。一致が失敗した場合、エラーが報告されます。これはデータベースであり、データベースは運用環境での作業に使用されます。私たちはすべてのビジネス関連アプリケーションにデータベースを使用します。
   5. データ ウェアハウスは BI のテクノロジーの 1 つです。データベースはビジネス アプリケーションにリンクされているため、1 つのデータベースに企業のすべてのデータを含めることは不可能です。データベースのテーブル設計は、特定のアプリケーション向けに設計されることがよくあります。たとえば、先ほどのログイン関数では、ユーザー テーブルにはこれら 2 つのフィールドのみがあり、他のフィールドはありません。そのとき、この表はあるべきものを満たしていて問題ないのですが、この表は分析を満たしていません。たとえば、ユーザー数が最も多い時間帯を知りたいです。 1 年間で最も多く購入するユーザーは誰ですか?こんな感じのインジケーター。次に、データベースのテーブル構造を再設計する必要があります。データ分析とデータマイニングのために、データ ウェアハウスの概念を導入しました。データ ウェアハウスのテーブル構造は、分析要件、分析ディメンション、分析指標に従って設計されます。
   6. 
      データベースとデータ ウェアハウスの違いは、実際には OLTP と OLAP の違いです。 ###
      1. 業務処理は、オンライントランザクション処理(OLTP)(On-Line Transaction Processing)と呼ばれ、トランザクション指向処理システムとも呼ばれ、特定の業務をデータベース上でオンライン上で日常的に行う業務であり、通常、少数のレコードをクエリします。修正してください。ユーザーは、操作の応答時間、データのセキュリティ、整合性、サポートされる同時ユーザー数などの問題をより懸念しています。データ管理の主な手段として、従来のデータベース システムは主に業務処理に使用されていました。
      2. オンライン分析処理 OLAP (On-Line Analytical Processing) と呼ばれる分析処理は、通常、特定のトピックに関する履歴データを分析して、経営上の意思決定をサポートします。

運用処理##詳細包括的または洗練されたエンティティ関係 (E-R) モデルスター モデルまたはスノーフレーク モデル瞬間データの保存最近のデータを除く履歴データの保存更新可能読み取り専用、追加のみ一度に 1 ユニットずつ操作一度に 1 コレクションずつ操作高いパフォーマンス要件、短い応答時間緩やかなパフォーマンス要件トランザクション指向分析指向操作データは一度に少量意思決定のニーズをサポート少量のデータ大量のデータ顧客の注文、在庫レベルと銀行口座の問い合わせ顧客収益分析、市場セグメンテーション3. Tail

##分析処理

1. エラーがある場合は、お気軽にコメントしてください。ご指摘いただければすぐに修正します。わからないことがあれば、メッセージを残して質問したり、お互いにコミュニケーションしたりすることもできます。 ＃＃＃＃２．大したことないと思われるかも知れませんが、自分の成長のためにメモや経験として真摯に受け止めさせていただきます。

以上がデータ ウェアハウスとデータベースの違いは何ですか?の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。