摘要 星形模式是基于关系数据库的数据仓库中的一个著名概念,由于星形连接模式的设计思想能够满足人们从不同观察角度(维)分析数据的需求,所以在基于关系数据库的数据仓库的设计中广泛地使用了星形模式。本文主要介绍《广东省高速公路一张网资金结算情况分
摘要 星形模式是基于关系数据库的数据仓库中的一个著名概念,由于星形连接模式的设计思想能够满足人们从不同观察角度(维)分析数据的需求,所以在基于关系数据库的数据仓库的设计中广泛地使用了星形模式。本文主要介绍《广东省高速公路一张网资金结算情况分析系统》中的数据仓库技术。
关键词 数据仓库;星形模式;维度
1 数据仓库的特点
数据仓库技术是用以更好地支持企业或组织的决策分析处理的,面向主题的,集成的,不可更新的、随时间不断变化的数据集合。它通过将数据按照不同的综合程度(即粒度)来组织,以满足不同分析的需要。
本文主要介绍一下《广东省高速公路一张网资金结算情况分析系统》中如何使用数据仓库技术来实现“异常流水”与其修改量分析与“流水上传与拆分”分析这两个主题。
2 星形模式
星形模式是基于关系数据库的数据仓库中的一个著名概念,由于星形连接模式的设计思想能够满足人们从不同观察角度(维)分析数据的需求,加上数据仓库通常用来回答综合性的问题,所以在基于关系数据库的数据仓库的设计中广泛地使用了星形模式,如电信运营商中普遍进行的话务总体分析。
3 系统中的数据仓库设计
3.1 广东联合电子结算中心操作型环境 DB2 数据库服务器下的数据组织情况
在广东联合电子结算中心, “异常流水”、“流水拆分”、“流水上传”有关的关系模式
l 粤通卡精确拆分结果明细表
tb_cardaccuratesplitresult (流水号,工班, 出口路段…, 收入路段)
l 现金精确拆分结果明细表
tb_cashaccuratesplitresult (流水号,工班, 出口路段…,收入路段)
l 流水非精确拆分记录表
tb_inaccuratesplitrecord (流水号,工班, 出口路段…, 收入路段)
l 拆分流水异常记录表
tb_outlistspliterrorgb(流水号,工班,出口路段, …,错误类型代码)
l 拆分流水异常记录历史表
tb_outlistspliterrorgb_his(流水号,工班,出口路段, …,错误类型代码)
l 流水异常记录表
tb_outlisterrorgb(流水号,工班,出口路段, …,错误类型代码)
l 流水异常记录历史表
tb_outlisterrorgb_his(流水号,工班,出口路段, …,错误类型代码)
l 出口流水表
tb_outlistgb (流水号,工班,出口路段, …,上传时间)
3.2 系统的中数据仓库设计
考虑到篇幅,各步骤经过简化如下:
l 概念模型设计
l 逻辑模型设计
l 数据仓库生成
3.2.1概念模型设计中的界定系统边界
在广东电信公话中心,管理者最迫切进行的分析主要有:
l 各高速公路路段公司不同工班的流水上传、流水拆分。
l 分析各个高速公路路段公司上传的异常流水(包含异常及拆分异常)、及其修改的情况;
要进行以上的分析,所需数据应包括:
l 分析各个高速公路路段公司在一段周期内的流水上传、拆分、异常总量、异常修改情况。
l 分析各个高速公路路段公司上传的异常流水(包含异常及拆分异常)、及上传的异常的流水(包含异常及拆分异常)流水的修改情况;
l 各个高速公路路段公司及他们的软件开发商
l 广东省高速公路所有的路段信息;
3.2.2 逻辑模型设计
因为细节级数据太大,数据仓库又建立在本人的PC机上 MS SQL SERVER 服务器上,加之迫于分析任务提交时间的压力,故本数据仓库中不再涉及细节级数据表的设计、数据挖掘。
关系模式定义:
ok_xiugai (LISTNO, UPLOADTIME, OUTROADNO, SQUADDATE, ERRCODE, ERRMSG…)
no_xiugai (LISTNO, UPLOADTIME, OUTROADNO, SQUADDATE, ERRCODE, ERRMSG…)
upload_split(路段编码, 路段名称, 工班, 上传流水数量, 拆分流水数量…)
kaifa (roadno, kaifa_name)
tb_road(areano,roadno,roadname,…)
3.2.3 数据仓库数据生成
数据仓库中数据的生成包括操作型环境数据的挖掘和数据仓库中数据的生成这两部分的内容。在这一步里所要做的工作是接口编程,以实现将操作型环境下的数据装载进入数据仓库环境。
4 数据仓库的数据导出与展现
4.1 万能数据库查询分析器
万能数据库查询分析器,中文版本《DB 查询分析器》、英文版本《DBQuery Analyzer》。它具有强大的功能、友好的操作界面、良好的操作性、跨越各种数据库平台乃至于EXCEL和文本文件。
你可以通过它查询ODBC数据源(包括世面上所有的数据库、TXT/CSV文件、EXCEL文件)的数据。你可以同时执行多条DML语句乃至存贮过程,结果会以你设定的表格、文本框、文件来返回。从数据库导出千万条数据时,效率与DBMS没有什么区别。
《万能数据库查询分析器》中文版本《DB 查询分析器》在中关村在线下载量超过10万次,位居整个数据库类排行榜中第8位,所以在实际工作中,本人用《DB 查询分析器》作为客户端,实现将数据仓库中的数据展现与导出。
4.2 本系统中的两个主题的星形模式
4.3 数据样例示意
图6 数据展现1
图7 数据展现2
图8 点击“DB 查询分析器”的工具栏按钮,即可导出数据1
图9 点击“DB 查询分析器”的工具栏按钮,即可导出数据2
5 结束语
笔者在《广东省高速公路一张网资金结算情况分析系统》的研究与开发过程中,是数据仓库技术在实际工作中的又一次运用。
参考文献:
[1] 马根峰 · 万能数据库查询分析器中的事务管理在Oracle中的应用· 上海:微型电脑应用2008.4
[2] 新产品&工具点评 特别推荐:“万能数据库查询分析器”发布 · 程序员,2007.2
[3] 马根峰 · DB QueryAnalyzer中的事务管理在DB2中的应用· 北京:电脑编程技巧与维护2011.22
[4] 马根峰 · 《DB 查询分析器》批量执行DML语句并返回更详细的信息· 北京:电脑编程技巧与维护2011.24
[5] 王珊 · 数据仓库技术与联机分析处理 · 北京:科学出版社,1998.6
[6] MichaelCorey(美),MichaelAbbey(美) · SQL SERVER 7 Data Warehousing · 北京:希望电子出版社,2000.1
[7] 袁鹏飞 · SQLServer 7.0数据库系统管理与应用开发 · 北京:人民邮电出版社,1999.5

MySQL索引基数对查询性能有显著影响:1.高基数索引能更有效地缩小数据范围,提高查询效率;2.低基数索引可能导致全表扫描,降低查询性能;3.在联合索引中,应将高基数列放在前面以优化查询。

MySQL學習路徑包括基礎知識、核心概念、使用示例和優化技巧。 1)了解表、行、列、SQL查詢等基礎概念。 2)學習MySQL的定義、工作原理和優勢。 3)掌握基本CRUD操作和高級用法,如索引和存儲過程。 4)熟悉常見錯誤調試和性能優化建議,如合理使用索引和優化查詢。通過這些步驟,你將全面掌握MySQL的使用和優化。

MySQL在現實世界的應用包括基礎數據庫設計和復雜查詢優化。 1)基本用法:用於存儲和管理用戶數據,如插入、查詢、更新和刪除用戶信息。 2)高級用法:處理複雜業務邏輯,如電子商務平台的訂單和庫存管理。 3)性能優化:通過合理使用索引、分區表和查詢緩存來提升性能。

MySQL中的SQL命令可以分為DDL、DML、DQL、DCL等類別,用於創建、修改、刪除數據庫和表,插入、更新、刪除數據,以及執行複雜的查詢操作。 1.基本用法包括CREATETABLE創建表、INSERTINTO插入數據和SELECT查詢數據。 2.高級用法涉及JOIN進行表聯接、子查詢和GROUPBY進行數據聚合。 3.常見錯誤如語法錯誤、數據類型不匹配和權限問題可以通過語法檢查、數據類型轉換和權限管理來調試。 4.性能優化建議包括使用索引、避免全表掃描、優化JOIN操作和使用事務來保證數據一致性

InnoDB通過undolog實現原子性,通過鎖機制和MVCC實現一致性和隔離性,通過redolog實現持久性。 1)原子性:使用undolog記錄原始數據,確保事務可回滾。 2)一致性:通過行級鎖和MVCC確保數據一致。 3)隔離性:支持多種隔離級別,默認使用REPEATABLEREAD。 4)持久性:使用redolog記錄修改,確保數據持久保存。

MySQL在數據庫和編程中的地位非常重要,它是一個開源的關係型數據庫管理系統,廣泛應用於各種應用場景。 1)MySQL提供高效的數據存儲、組織和檢索功能,支持Web、移動和企業級系統。 2)它使用客戶端-服務器架構,支持多種存儲引擎和索引優化。 3)基本用法包括創建表和插入數據,高級用法涉及多表JOIN和復雜查詢。 4)常見問題如SQL語法錯誤和性能問題可以通過EXPLAIN命令和慢查詢日誌調試。 5)性能優化方法包括合理使用索引、優化查詢和使用緩存,最佳實踐包括使用事務和PreparedStatemen

MySQL適合小型和大型企業。 1)小型企業可使用MySQL進行基本數據管理,如存儲客戶信息。 2)大型企業可利用MySQL處理海量數據和復雜業務邏輯,優化查詢性能和事務處理。

InnoDB通過Next-KeyLocking機制有效防止幻讀。 1)Next-KeyLocking結合行鎖和間隙鎖,鎖定記錄及其間隙,防止新記錄插入。 2)在實際應用中,通過優化查詢和調整隔離級別,可以減少鎖競爭,提高並發性能。


熱AI工具

Undresser.AI Undress
人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool
免費脫衣圖片

Clothoff.io
AI脫衣器

AI Hentai Generator
免費產生 AI 無盡。

熱門文章

熱工具

VSCode Windows 64位元 下載
微軟推出的免費、功能強大的一款IDE編輯器

Dreamweaver CS6
視覺化網頁開發工具

WebStorm Mac版
好用的JavaScript開發工具

Safe Exam Browser
Safe Exam Browser是一個安全的瀏覽器環境,安全地進行線上考試。該軟體將任何電腦變成一個安全的工作站。它控制對任何實用工具的訪問,並防止學生使用未經授權的資源。

禪工作室 13.0.1
強大的PHP整合開發環境