IBM 提供了全面的、业界领先的数据仓库、业务分析解决方案,包括信息整合工具 Information Server;实时、增量数据复制工具 InfoSphere CDC;数据仓库解决方案 Infosphere Warehouse;业务分析工具 Cognos BI 以及一系业务分析应用等。
本文,主要为大家介绍 IBM 数据仓库、业务分析解决方案,特别是如何利用 Infosphere Datastage、Infosphere CDC、Infosphere Warehouse 及 Cognos 快速建立数据分析应用,以帮助大家快速掌握利用 Infosphere Datastage、Infosphere CDC、Infosphere Warehouse 及 Cognos 开发分析应用的基本方法。
针对数据仓库、业务分析应用,IBM 提供了全面的、业界领先的解决方案。软件方面,提供了集成的、端到端的解决方案,包括信息整合工具 Information Server;实时、增量数据复制工具 InfoSphere CDC;数据仓库解决方案 Infosphere Warehouse;业务分析工具 Cognos BI 以及一系列业务分析应用;针对 Big Data 数据分析,提供了 Infosphere BigInsights 及 Infosphere Streams;针对信息监管,提供了 Quality Stage 数据质量管理工具、Infosphere Optim 数据生命周期管理解决方案、Infosphere Guardium 数据安全解决方案,同时,IBM 还提出了 IBM Smart Analytics System 解决方案,它根据用户预计的数据仓库规模,为用户提供预先配置的、经过优化的、可以扩展的软、硬件整体套装配置方案,包括的型号、配置,存储的配置,网络的配置,可以为用户提供合理的硬件选型,并提供一站式解决方案;IBM 还提供了 Netezza 数据仓库一体机,提供性能优异、配置简单的一站式解决方案;在数据仓库模型方面,IBM 提供了针对银行、电信、保险及零售业的数据仓库模型,可以为用户提供针对行业应用的模板,加速行业应用建模。
IBM 典型的数据仓库解决方案如下图所示,我们采用 Infosphere Warehouse 作为企业数据仓库 EDW 系统;采用 Infosphere Warehouse 作为关系型数据集市系统,Cognos 作为多维数据集市系统;通过 Infosphere CDC 将业务系统的数据实时复制到 ODS 系统中;使用 Infosphere Datastage 批量装载数据到数据仓库或数据集市中;使用 Infosphere CDC 实现增量、实时数据装载功能;使用 Cognos BI 及 Cognos 应用实现业务分析功能。
图 1. IBM 数据仓库解决方案架构
下边,我们通过一个简单的“Sales Performance Analysis”的例子来介绍一下如何利用 Infosphere Datastage、Infosphere CDC、Infosphere Warehouse 及 Cognos 快速建立数据分析应用。
本次试验,我们在 DB2 9.7 中创建了 db2olap 作为 OLTP 数据源,使用 Infosphere Warehouse 提供的 DB2 9.7 创建了 olapdb 作为 ODS/ 数据仓库系统,使用 Inforsphere Datastage 8.7 作为 ETL 工具负责将需要的数据从数据源 db2olap 中抽取、并做适当的转换后装入到 olapdb ODS/ 数据仓库中,同时,我们使用 Infosphere CDC 6.5.1 及 Infosphere Datastage 8.7 提供的 CDC Transaction Stage 实现实时、增量数据装载工作,最后使用 Cognos BI 10.1.1 实现最终的报表展现、OLAP 分析及仪表盘应用。
环境准备
本次实验环境,我们采用 Redhat Linux 操作系统,内核 2.6.1,并且在上面安装了如下的软件:
- IBM Information Server 8.7
- Inforsphere CDC 6.5.1
- DB2 9.7.4
- IBM Cognos BI Server 10.1.1
- IBM HTTP Server 7.0
在 windows 7 客户机上安装了如下的软件:
- Cognos BI Model 10.1.1
OLTP 数据源
本次试验,我们在 DB2 9.7 中创建了 db2olap 数据库作为 OLTP 数据源,包括如下表及表结构定义信息:
清单 1. 数据源定义
create table locations_s--location dimension (city_id char(8) not null primary key, prov_id varchar(10), area_id varchar(10), country_id varchar(10) ); create table city_s (city_id char(8) not null primary key, city varchar(10), city_population int); create table prov_s (prov_id varchar(10), prov varchar(10)); create table area_s (area_id varchar(10), area varchar(10)); create table products_s --products dimension (product_id varchar(10) not null primary key, sub_class_id varchar(10), class_id varchar(10)); create table product_s (product_id varchar(10) not null primary key, product varchar(50)); create table subclass_s (sub_class_id varchar(10), sub_class varchar(50)); create table times_s ---time dimension (day_id int not null primary key, day varchar(10), month_id int, month varchar(10), year_id int, year varchar(10)); create table salesperf_s (city_id char(8) not null, product_id varchar(10) not null, day_id int not null, sales decimal(10,2), costs decimal(10,2), constraint fk_day foreign key(day_id) references times_s, constraint fk_location foreign key(city_id) references locations_s, constraint fk_product foreign key(product_id) references products_s );

データベースの最適化では、クエリ要件に従ってインデックス作成戦略を選択する必要があります。1。クエリに複数の列が含まれ、条件の順序が固定されている場合、複合インデックスを使用します。 2。クエリに複数の列が含まれているが、条件の順序が修正されていない場合、複数の単一列インデックスを使用します。複合インデックスは、マルチコラムクエリの最適化に適していますが、単一列インデックスは単一列クエリに適しています。

MySQLスロークエリを最適化するには、slowquerylogとperformance_schemaを使用する必要があります。1。LowerQueryLogを有効にし、しきい値を設定して、スロークエリを記録します。 2。performance_schemaを使用してクエリの実行の詳細を分析し、パフォーマンスのボトルネックを見つけて最適化します。

MySQLとSQLは、開発者にとって不可欠なスキルです。 1.MYSQLはオープンソースのリレーショナルデータベース管理システムであり、SQLはデータベースの管理と操作に使用される標準言語です。 2.MYSQLは、効率的なデータストレージと検索機能を介して複数のストレージエンジンをサポートし、SQLは簡単なステートメントを通じて複雑なデータ操作を完了します。 3.使用の例には、条件によるフィルタリングやソートなどの基本的なクエリと高度なクエリが含まれます。 4.一般的なエラーには、SQLステートメントをチェックして説明コマンドを使用することで最適化できる構文エラーとパフォーマンスの問題が含まれます。 5.パフォーマンス最適化手法には、インデックスの使用、フルテーブルスキャンの回避、参加操作の最適化、コードの読み取り可能性の向上が含まれます。

MySQL非同期マスタースレーブレプリケーションにより、BINLOGを介したデータの同期が可能になり、読み取りパフォーマンスと高可用性が向上します。 1)マスターサーバーレコードはBinlogに変更されます。 2)スレーブサーバーは、I/Oスレッドを介してBINLOGを読み取ります。 3)サーバーSQLスレッドは、BINLOGを適用してデータを同期させます。

MySQLは、オープンソースのリレーショナルデータベース管理システムです。 1)データベースとテーブルの作成:createdatabaseおよびcreateTableコマンドを使用します。 2)基本操作:挿入、更新、削除、選択。 3)高度な操作:参加、サブクエリ、トランザクション処理。 4)デバッグスキル:構文、データ型、およびアクセス許可を確認します。 5)最適化の提案:インデックスを使用し、選択*を避け、トランザクションを使用します。

MySQLのインストールと基本操作には、次のものが含まれます。1。mysqlをダウンロードしてインストールし、ルートユーザーパスワードを設定します。 2。sqlコマンドを使用して、createdatabaseやcreateTableなどのデータベースとテーブルを作成します。 3. CRUD操作を実行し、挿入、選択、更新、コマンドを削除します。 4.パフォーマンスを最適化し、複雑なロジックを実装するためのインデックスとストアドプロシージャを作成します。これらの手順を使用すると、MySQLデータベースをゼロから構築および管理できます。

Innodbbufferpoolは、データとインデックスページをメモリにロードすることにより、MySQLデータベースのパフォーマンスを向上させます。 1)データページは、ディスクI/Oを削減するためにBufferPoolにロードされます。 2)汚れたページは、定期的にディスクにマークされ、リフレッシュされます。 3)LRUアルゴリズム管理データページの排除。 4)読み出しメカニズムは、可能なデータページを事前にロードします。

MySQLは、インストールが簡単で、強力で管理しやすいため、初心者に適しています。 1.さまざまなオペレーティングシステムに適した、単純なインストールと構成。 2。データベースとテーブルの作成、挿入、クエリ、更新、削除などの基本操作をサポートします。 3.参加オペレーションやサブクエリなどの高度な機能を提供します。 4.インデックス、クエリの最適化、テーブルパーティション化により、パフォーマンスを改善できます。 5。データのセキュリティと一貫性を確保するために、バックアップ、リカバリ、セキュリティ対策をサポートします。


ホットAIツール

Undresser.AI Undress
リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover
写真から衣服を削除するオンライン AI ツール。

Undress AI Tool
脱衣画像を無料で

Clothoff.io
AI衣類リムーバー

AI Hentai Generator
AIヘンタイを無料で生成します。

人気の記事

ホットツール

VSCode Windows 64 ビットのダウンロード
Microsoft によって発売された無料で強力な IDE エディター

SublimeText3 英語版
推奨: Win バージョン、コードプロンプトをサポート!

ゼンドスタジオ 13.0.1
強力な PHP 統合開発環境

mPDF
mPDF は、UTF-8 でエンコードされた HTML から PDF ファイルを生成できる PHP ライブラリです。オリジナルの作者である Ian Back は、Web サイトから「オンザフライ」で PDF ファイルを出力し、さまざまな言語を処理するために mPDF を作成しました。 HTML2FPDF などのオリジナルのスクリプトよりも遅く、Unicode フォントを使用すると生成されるファイルが大きくなりますが、CSS スタイルなどをサポートし、多くの機能強化が施されています。 RTL (アラビア語とヘブライ語) や CJK (中国語、日本語、韓国語) を含むほぼすべての言語をサポートします。ネストされたブロックレベル要素 (P、DIV など) をサポートします。

SublimeText3 Mac版
神レベルのコード編集ソフト(SublimeText3)
