搜尋
首頁資料庫mysql教程資料倉儲和資料庫的差別是什麼?

資料倉儲和資料庫的差別是什麼?

Oct 19, 2020 pm 04:37 PM
資料倉儲資料庫

資料倉儲與資料庫的差別:1、資料庫儲存的是原始數據,沒經過任何加工;而資料倉儲是為了滿足資料分析需要設計的,對來源資料進行了ETL過程,資料擷取工作分抽取、清洗、轉換、裝載;2、資料倉儲的資料量比資料庫大很多。

資料倉儲和資料庫的差別是什麼?

(推薦教學:mysql影片教學

一、資料倉儲

  1. 什麼是資料倉儲?
    資料倉儲(Data Warehouse),可簡寫為DW或DWH,資料倉儲,是為了企業所有層級的決策規劃過程,提供所有類型資料類型的策略集合。它出於分析性報告和決策支援的目的而創建。為需要業務智慧的企業 ,為需要指導業務流程改進、監視時間,成本,品質以及控制等;
  2. 資料倉儲能做什麼? (舉幾個栗子)

    1. 年度銷售目標的製定,需要根據以往的歷史報表進行決策,不能隨便制定。
    2. 優化業務流程
      例如:某電商平台某品牌的手機,在過去5年主要的購買人群的年齡在什麼年齡段,在那個季節購買量人多,這樣就可以根據這個特點為目標人群設定他們主要的需求和動態分配產生的生產量,和倉庫的庫存。
  3. 資料倉儲的特性

    1. 資料倉儲是面向主題的。
      1. 與傳統的資料庫不一樣,資料倉儲是面向主題的,那什麼是主題呢?首頁主題是一個較高乘次的概念,是較高層次上企業資訊系統中的資料綜合,歸類並進行分析的對象。在邏輯意義上,他是企業中某一個宏觀分析領域所涉及的分析對象。 (說人話:就是使用者用資料倉儲決策所關心的重點方面,一個主題通常與多個操作資訊型系統有關,而操作型資料庫的資料組織面向事務處理任務,各個任務之間是相互隔離的);
    2. 資料倉儲是整合的。
      1. 資料倉儲的資料是從原來的分散的資料庫資料(mysql等關聯式資料庫)抽取出來的。操作型資料庫與DSS(決策支援系統)分析型資料庫差異甚大。第一,資料倉儲的每個主題所對應的來源資料在所有的各個分散的資料庫中,有許多重複和不一樣的地方,且來自不同的線上系統的資料都和不同的應用邏輯捆綁在一起;第二,資料倉儲中的綜合資料不能直接從原來有的資料庫系統取得。因此子在資料進入資料倉儲之前,必然要經過統一與綜合,這一步是資料倉儲建置中最關鍵,最複雜的一步,所要挖成的工作有:
        1. 要統計來源資料中所有矛盾之處,如字段的同名異議、異名同義、單位不統一,字長不統一等。
        2. 進行資料的綜合和計算。資料倉儲中的資料綜合工作可以在原有資料庫抽取資料時生成,但許多是在資料倉儲內部生成的,即進入資料倉儲以後進行綜合生成的。
    3. 資料倉儲的資料是隨著時間的變化而變化的。
      1. 資料倉儲中的資料無法更新是針對應用程式來說的,也就是說,資料倉儲的使用者進行分析處理是不進行資料更新作業的。但並不是說,在從資料整合輸入資料倉儲開始到最後被刪除的整個生存週期中,所有的資料倉儲資料都是永遠不變的。
      2. 資料倉儲的資料是隨著時間變化而變化的,這是資料倉儲的特徵之一。這項特徵主要有以下三個表現:
        1. 資料倉儲隨著時間變化不斷增加新的資料內容。資料倉儲系統必須不斷捕捉OLTP資料庫中變化的數據,追加到資料倉儲當中去,也就是要不斷的生成OLTP資料庫的快照,經由統一整合增加到資料倉儲中去;但對於確實不在變更的資料庫快照,如果捕捉到新的變化數據,則只產生一個新的資料庫快照增加進去,而不會對原有的資料庫快照進行修改。
        2. 資料庫隨著時間變化不斷刪除舊的資料內容 。資料倉儲內的資料也有儲存期限,一旦過了這期限,過期資料就要被刪除。只是資料庫內的資料時限要遠遠的長於操作型環境中的資料時限。在操作型環境中一般只保存有60~90天的數據,而在資料倉儲中則要需要保存較長時限的資料(例如:5~10年),以適應DSS進行趨勢分析的要求。
        3. 資料倉儲中包含有大量的綜合數據,這些綜合數據中很多跟時間有關,如數據經常按照時間段進行綜合,或隔一定的時間片進行抽樣等等。這些數據要隨著時間的變化不斷地進行從新綜合。因此資料倉儲的資料特徵都包含時間項,以標示資料的歷史時期。
    4. 資料倉儲的資料是無法修改的。
      1. 資料倉儲的資料主要提供企業決策分析之用,所涉及的資料操作主要是資料查詢,一般情況下並未進行修改作業。資料倉儲的數據反映的是一段相當長的時間內歷史資料的內容,是不同時點的資料庫快照的集合, 以及基於這些快照進行統計、綜合和重組的匯出數據,而不是線上處理的資料。資料庫中進行聯機處理的書庫進過整合輸入到資料倉儲中,一旦資料倉儲所存放的資料已經超過資料倉儲的資料儲存期限,這些資料將從目前的資料倉儲中刪除。因為資料倉儲只進行資料查詢操作,所以資料倉儲當中的系統比資料庫中的系統要簡單的多。資料庫管理系統中許多技術困難,如完整性保護、並發控制等等,在資料倉儲的管理中幾乎可以省去。但是由於資料倉儲的查詢資料量往往很大,所以就對資料查詢提出了更高的要求,他要求採用各種複雜的索引技術;同時資料倉儲面向的是商業企業的高層管理階層,他們會對資料查詢的介面友善性和資料表示提出更高的要求;

#二、資料倉儲與資料庫的差異



    1. ########## ###想了解差異之前,我們需要了解三個概念,資料庫軟體、資料庫和資料倉儲是什麼? #########資料庫軟體:是一種軟體(並不是連結資料庫的圖形化客戶端)。用來實現資料庫邏輯過程,屬於物理層。 ######資料庫:是一種邏輯概念,用來存放資料的倉庫,透過資料庫軟體來實現。資料庫由很多表組成,表是二維的,一張表裡面有很多欄位。字段一字排開,對資料就一行一行的寫入表中。資料庫的表,在於能夠用二維表現多維的關係。如:oracle、DB2、MySQL、Sybase、MSSQL Server等。 ######資料倉儲:是資料庫概念的升級。從邏輯上理解,資料庫和資料倉儲沒有差別,都是透過資料庫軟體實現存放資料的地方,只不過從資料量來說,資料倉儲要比資料庫更龐大德多。資料倉儲主要用於資料探勘和資料分析,輔助領導做決策;######在IT的架構體系中,資料庫是必須存在的,必須要有地方存資料。例如現在的網購等電商。物品的存貨多少,貨品的價格,使用者的帳戶餘額之類的。這些資料都是存放在後台資料庫中。或者最簡單的理解,我們現在的微信、微博和QQ等帳號和密碼。在後台資料庫必須是一個user表,字段起碼有兩個嗎,即用戶名和密碼,然後我們的資料就一行一行的存在表上面。當我們登入的時候,我們填寫了使用者名稱和密碼,這些資料就會回傳到回台去,去跟表上面的資料匹配,匹配成功了,就能登入。配對不成功就會報錯,這就是資料庫,資料庫在生產環境就是用來工作的。凡是跟業務有關應用掛鉤的,我們都使用資料庫。 ######資料倉儲是BI下的其中一種技術。由於資料庫跟業務應用掛鉤的,所以一個資料庫不可能裝下一家公司的所有資料。資料庫的表設計往往是針對某一個應用程式進行設計的。例如剛剛的登入功能,這張user表上就只有這兩個字段,沒有別的字段了。到那時這張表符合應該,沒有問題,但這張表不符合分析。例如我想知道在哪個時段,用戶的量最多?哪個用戶一年購物最多?諸如此類的指標。那就要從新設計資料庫的表格結構了。對於資料分析和資料探勘,我們引入了資料倉科概念。資料倉儲的表結構是依照分析需求,分析維度,分析指標進行設計的。 ######資料庫與資料倉儲的差別實際講的是OLTP與OLAP的差別。 ###
      1. 操作型處理,叫線上事務處理OLTP(On-Line Transaction Processing),也可以稱為交易導向的處理系統,它是針對特定業務在資料庫線上的日常操作,通常對少數記錄進行查詢、修改。使用者較為關心操作的回應時間、資料的安全性、完整性和並發的支援使用者數等問題。傳統的資料庫系統作為資料管理的主要手段,主要用於操作型處理。
      2. 分析型處理,叫線上分析處理OLAP(On-Line Analytical Processing)一般針對某些主題歷史資料進行分析,支援管理決策。
##效能要求高,響應時間短效能要求寬鬆面向事務面向分析一次操作數據量小支援決策需求資料量小#資料量大客戶訂單、庫存水準與銀行帳戶查詢客戶收益分析、市場區隔
運算類型處理 分析型處理
#細節的 綜合或提煉的
#實體-關係(E-R)模型 星型模型或雪花模型
儲存瞬間數據 儲存歷史數據,不包含最近的數據
可更新的 只讀、只追加
一次運算一個單元 #一次運算一個集合
#三.尾巴

1、如有錯誤歡迎大家指出,我會及時更正,有什麼不懂也可以留言提問,互相交流嗎。

2、也許大家覺得這沒什麼,但我會認真對待,把它當成我的筆記、心得、這樣才能提升自己。

以上是資料倉儲和資料庫的差別是什麼?的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
說明InnoDB重做日誌和撤消日誌的作用。說明InnoDB重做日誌和撤消日誌的作用。Apr 15, 2025 am 12:16 AM

InnoDB使用redologs和undologs確保數據一致性和可靠性。 1.redologs記錄數據頁修改,確保崩潰恢復和事務持久性。 2.undologs記錄數據原始值,支持事務回滾和MVCC。

在解釋輸出(類型,鍵,行,額外)中要查找的關鍵指標是什麼?在解釋輸出(類型,鍵,行,額外)中要查找的關鍵指標是什麼?Apr 15, 2025 am 12:15 AM

EXPLAIN命令的關鍵指標包括type、key、rows和Extra。 1)type反映查詢的訪問類型,值越高效率越高,如const優於ALL。 2)key顯示使用的索引,NULL表示無索引。 3)rows預估掃描行數,影響查詢性能。 4)Extra提供額外信息,如Usingfilesort提示需要優化。

在解釋中使用臨時狀態以及如何避免它是什麼?在解釋中使用臨時狀態以及如何避免它是什麼?Apr 15, 2025 am 12:14 AM

Usingtemporary在MySQL查詢中表示需要創建臨時表,常見於使用DISTINCT、GROUPBY或非索引列的ORDERBY。可以通過優化索引和重寫查詢避免其出現,提升查詢性能。具體來說,Usingtemporary出現在EXPLAIN輸出中時,意味著MySQL需要創建臨時表來處理查詢。這通常發生在以下情況:1)使用DISTINCT或GROUPBY時進行去重或分組;2)ORDERBY包含非索引列時進行排序;3)使用複雜的子查詢或聯接操作。優化方法包括:1)為ORDERBY和GROUPB

描述不同的SQL交易隔離級別(讀取未讀取,讀取,可重複的讀取,可序列化)及其在MySQL/InnoDB中的含義。描述不同的SQL交易隔離級別(讀取未讀取,讀取,可重複的讀取,可序列化)及其在MySQL/InnoDB中的含義。Apr 15, 2025 am 12:11 AM

MySQL/InnoDB支持四種事務隔離級別:ReadUncommitted、ReadCommitted、RepeatableRead和Serializable。 1.ReadUncommitted允許讀取未提交數據,可能導致臟讀。 2.ReadCommitted避免臟讀,但可能發生不可重複讀。 3.RepeatableRead是默認級別,避免臟讀和不可重複讀,但可能發生幻讀。 4.Serializable避免所有並發問題,但降低並發性。選擇合適的隔離級別需平衡數據一致性和性能需求。

MySQL與其他數據庫:比較選項MySQL與其他數據庫:比較選項Apr 15, 2025 am 12:08 AM

MySQL適合Web應用和內容管理系統,因其開源、高性能和易用性而受歡迎。 1)與PostgreSQL相比,MySQL在簡單查詢和高並發讀操作上表現更好。 2)相較Oracle,MySQL因開源和低成本更受中小企業青睞。 3)對比MicrosoftSQLServer,MySQL更適合跨平台應用。 4)與MongoDB不同,MySQL更適用於結構化數據和事務處理。

MySQL索引基數如何影響查詢性能?MySQL索引基數如何影響查詢性能?Apr 14, 2025 am 12:18 AM

MySQL索引基数对查询性能有显著影响:1.高基数索引能更有效地缩小数据范围,提高查询效率;2.低基数索引可能导致全表扫描,降低查询性能;3.在联合索引中,应将高基数列放在前面以优化查询。

MySQL:新用戶的資源和教程MySQL:新用戶的資源和教程Apr 14, 2025 am 12:16 AM

MySQL學習路徑包括基礎知識、核心概念、使用示例和優化技巧。 1)了解表、行、列、SQL查詢等基礎概念。 2)學習MySQL的定義、工作原理和優勢。 3)掌握基本CRUD操作和高級用法,如索引和存儲過程。 4)熟悉常見錯誤調試和性能優化建議,如合理使用索引和優化查詢。通過這些步驟,你將全面掌握MySQL的使用和優化。

現實世界Mysql:示例和用例現實世界Mysql:示例和用例Apr 14, 2025 am 12:15 AM

MySQL在現實世界的應用包括基礎數據庫設計和復雜查詢優化。 1)基本用法:用於存儲和管理用戶數據,如插入、查詢、更新和刪除用戶信息。 2)高級用法:處理複雜業務邏輯,如電子商務平台的訂單和庫存管理。 3)性能優化:通過合理使用索引、分區表和查詢緩存來提升性能。

See all articles

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

AI Hentai Generator

AI Hentai Generator

免費產生 AI 無盡。

熱門文章

R.E.P.O.能量晶體解釋及其做什麼(黃色晶體)
4 週前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.最佳圖形設置
4 週前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.如果您聽不到任何人,如何修復音頻
4 週前By尊渡假赌尊渡假赌尊渡假赌
WWE 2K25:如何解鎖Myrise中的所有內容
1 個月前By尊渡假赌尊渡假赌尊渡假赌

熱工具

VSCode Windows 64位元 下載

VSCode Windows 64位元 下載

微軟推出的免費、功能強大的一款IDE編輯器

SublimeText3漢化版

SublimeText3漢化版

中文版,非常好用

Dreamweaver Mac版

Dreamweaver Mac版

視覺化網頁開發工具

mPDF

mPDF

mPDF是一個PHP庫,可以從UTF-8編碼的HTML產生PDF檔案。原作者Ian Back編寫mPDF以從他的網站上「即時」輸出PDF文件,並處理不同的語言。與原始腳本如HTML2FPDF相比,它的速度較慢,並且在使用Unicode字體時產生的檔案較大,但支援CSS樣式等,並進行了大量增強。支援幾乎所有語言,包括RTL(阿拉伯語和希伯來語)和CJK(中日韓)。支援嵌套的區塊級元素(如P、DIV),

Atom編輯器mac版下載

Atom編輯器mac版下載

最受歡迎的的開源編輯器