搜尋
首頁資料庫mysql教程mysql分片分區分庫分錶

mysql分片分區分庫分錶

May 09, 2019 pm 04:28 PM
mysql

資料庫的資料量達到一定程度之後,為避免帶來系統效能上的瓶頸。需要進行資料的處理,採用的手段是分區、分片、分庫、分錶。

推薦課程:MySQL教學

mysql分片分區分庫分錶

分片(類似分庫)

#分片是把資料庫橫向擴展(Scale Out)到多個實體節點上的一種有效的方式,其主要目的是為突破單節點資料庫伺服器的I/O 能力限制,解決資料庫擴展性問題。 Shard這個字的意思是「碎片」。如果將資料庫當作一塊大玻璃,將這塊玻璃打碎,那麼每一小塊都稱為資料庫的碎片(DatabaseShard)。將整個資料庫打碎的過程就叫做分片,可以翻譯為分片。

形式上,分片可以簡單定義為將大資料庫分散到多個實體節點上的一個分區方案。每一個分區包含資料庫的某一部分,稱為一個片,分區方式可以是任意的,並不限於傳統的水平分區和垂直分區。一個分片可以包含多個表的內容甚至可以包含多個資料庫實例中的內容。每個分片被放置在一個資料庫伺服器上。一個資料庫伺服器可以處理一個或多個分片的資料。系統中需要有伺服器進行查詢路由轉發,負責將查詢轉送到包含該查詢所存取資料的分片或分片集合節點上去執行。

Scale Out/Scale Up 和 垂直切割/水平分割

#Mysql的擴充方案包括Scale Out和Scale Up兩種。

Scale Out(橫向擴展)是指Application可以在水平方向上擴展。一般對資料中心的應用而言,Scale out指的是當增加更多的機器時,應用仍然可以很好的利用這些機器的資源來提升自己的效率從而達到很好的擴展性。

Scale Up(縱向擴充)是指Application可以在垂直方向上擴充。一般對單一機器而言,Scale Up值得是當某個計算節點(機器)添加更多的CPU Cores,存儲設備,使用更大的內存時,應用可以很充分的利用這些資源來提升自己的效率從而達到很好的擴充性。

MySql的Sharding策略包括垂直切分和水平切分兩種。

垂直(縱向)拆分:是指按功能模組拆分,以解決表格與表格之間的io競爭。例如分為訂單庫、商品庫、使用者庫...這種方式多個資料庫之間的表格結構不同。

水平(橫向)拆分:將同一個表的資料進行分塊保存到不同的資料庫中,來解決單表中資料量增長出現的壓力。這些資料庫中的表格結構完全相同。

表格結構設計垂直切分。常見的一些場景包括

a).大字段的垂直切分。單獨將大字段建在另外的表中,提高基礎表的訪問性能,原則上在性能關鍵的應用中應當避免數據庫的大字段

b). 按照使用用途垂直切分。例如企業物料屬性,可以依照基本屬性、銷售屬性、採購屬性、生產製造屬性、財務會計屬性等用途垂直切分

c). 依照存取頻率垂直切分。例如電子商務、Web 2.0系統中,如果使用者屬性設定非常多,可以將基本、使用頻繁的屬性和不常用的屬性垂直切分開

表結構設計水平切分。常見的一些場景包括

a). 例如在線電子商務網站,訂單表數據量過大,按照年度、月度水平切分

b). Web 2.0網站註冊用戶、在線活躍用戶過多,按照用戶ID範圍等方式,將相關用戶以及該用戶緊密關聯的表做水平切分

c). 例如論壇的置頂帖子,因為涉及到分頁問題,每頁都需要顯示置頂貼,這種情況可以把置頂貼水平切分開來,避免取置頂帖子時從所有帖子的表中讀取

分錶和分區

分錶從表面意思說就是把一張表分成多個小表,分區則是把一張表的資料分成N多個區塊,這些區塊可以在同一個磁碟上,也可以在不同的磁碟上。

分錶和分區的區別

1,實作方式上

mysql的分錶是真正的分錶,一張表分成很多表後,每一個小表都是完正的一張表,都對應三個文件(MyISAM引擎:一個.MYD資料文件,.MYI索引文件,.frm表結構文件)。

2,資料處理上

分錶後資料都是存放在分錶裡,總表只是一個外殼,存取資料發生在一個一個的分錶裡面。分區則不存在分錶的概念,分區只不過把存放資料的檔案分成了許多小塊,分區後的表還是一張表,資料處理還是由自己來完成。

3,提高效能上

分錶後,單表的並發能力提高了,磁碟I/O效能也提高了。分割區突破了磁碟I/O瓶頸,想提高磁碟的讀寫能力,來增加mysql效能。

在這一點上,分割區和分錶的測重點不同,分錶重點是存取資料時,如何提高mysql並發能力上;而分割區呢,如何突破磁碟的讀寫能力,從而達到提高mysql效能的目的。

4,實現的難易度上

分錶的方法有很多,用merge來分錶,是最簡單的一種方式。這種方式和分區難易度差不多,而且對程式碼來說可以做到透明的。如果是用其他分錶方式就比分區麻煩了。分區實作是比較簡單的,建立分區表,跟建平常的表沒什麼差別,對程式碼端來說是透明的。

分割區的適用場景

1. 一張表的查詢速度已經慢到影響使用的時候。

2.表中的數據是分段的

3.對數據的操作往往只涉及一部分數據,而不是所有的數據

CREATE TABLE sales (

    id INT AUTO_INCREMENT,

    amount DOUBLE NOT NULL,

    order_day DATETIME NOT NULL,

    PRIMARY KEY(id, order_day)

) ENGINE=Innodb

PARTITION BY RANGE(YEAR(order_day)) (

    PARTITION p_2010 VALUES LESS THAN (2010),

    PARTITION p_2011 VALUES LESS THAN (2011),

    PARTITION p_2012 VALUES LESS THAN (2012),

PARTITION p_catchall VALUES LESS THAN MAXVALUE);

分錶的適用場景

1. 一張表的查詢速度已經慢到影響使用的時候。

2.當頻繁插入或聯合查詢時,速度變慢。

分錶的實作需要業務結合實作與遷移,較為複雜。

分錶與分庫

分錶能夠解決單表資料量過大帶來的查詢效率下降的問題,但是,卻無法給資料庫的並發處理能力帶來質的提升。面對高並發的讀寫訪問,當資料庫master伺服器無法承載寫入操作壓力時,不管如何擴展slave伺服器,此時都沒有意義了。因此,我們必須換個思路,對資料庫進行拆分,從而提高資料庫寫入能力,這就是所謂的分庫。

與分錶策略相似,分庫可以採用透過一個關鍵字取模的方式,來對資料存取進行路由.

以上是mysql分片分區分庫分錶的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
MySQL索引基數如何影響查詢性能?MySQL索引基數如何影響查詢性能?Apr 14, 2025 am 12:18 AM

MySQL索引基数对查询性能有显著影响:1.高基数索引能更有效地缩小数据范围,提高查询效率;2.低基数索引可能导致全表扫描,降低查询性能;3.在联合索引中,应将高基数列放在前面以优化查询。

MySQL:新用戶的資源和教程MySQL:新用戶的資源和教程Apr 14, 2025 am 12:16 AM

MySQL學習路徑包括基礎知識、核心概念、使用示例和優化技巧。 1)了解表、行、列、SQL查詢等基礎概念。 2)學習MySQL的定義、工作原理和優勢。 3)掌握基本CRUD操作和高級用法,如索引和存儲過程。 4)熟悉常見錯誤調試和性能優化建議,如合理使用索引和優化查詢。通過這些步驟,你將全面掌握MySQL的使用和優化。

現實世界Mysql:示例和用例現實世界Mysql:示例和用例Apr 14, 2025 am 12:15 AM

MySQL在現實世界的應用包括基礎數據庫設計和復雜查詢優化。 1)基本用法:用於存儲和管理用戶數據,如插入、查詢、更新和刪除用戶信息。 2)高級用法:處理複雜業務邏輯,如電子商務平台的訂單和庫存管理。 3)性能優化:通過合理使用索引、分區表和查詢緩存來提升性能。

MySQL中的SQL命令:實踐示例MySQL中的SQL命令:實踐示例Apr 14, 2025 am 12:09 AM

MySQL中的SQL命令可以分為DDL、DML、DQL、DCL等類別,用於創建、修改、刪除數據庫和表,插入、更新、刪除數據,以及執行複雜的查詢操作。 1.基本用法包括CREATETABLE創建表、INSERTINTO插入數據和SELECT查詢數據。 2.高級用法涉及JOIN進行表聯接、子查詢和GROUPBY進行數據聚合。 3.常見錯誤如語法錯誤、數據類型不匹配和權限問題可以通過語法檢查、數據類型轉換和權限管理來調試。 4.性能優化建議包括使用索引、避免全表掃描、優化JOIN操作和使用事務來保證數據一致性

InnoDB如何處理酸合規性?InnoDB如何處理酸合規性?Apr 14, 2025 am 12:03 AM

InnoDB通過undolog實現原子性,通過鎖機制和MVCC實現一致性和隔離性,通過redolog實現持久性。 1)原子性:使用undolog記錄原始數據,確保事務可回滾。 2)一致性:通過行級鎖和MVCC確保數據一致。 3)隔離性:支持多種隔離級別,默認使用REPEATABLEREAD。 4)持久性:使用redolog記錄修改,確保數據持久保存。

MySQL的位置:數據庫和編程MySQL的位置:數據庫和編程Apr 13, 2025 am 12:18 AM

MySQL在數據庫和編程中的地位非常重要,它是一個開源的關係型數據庫管理系統,廣泛應用於各種應用場景。 1)MySQL提供高效的數據存儲、組織和檢索功能,支持Web、移動和企業級系統。 2)它使用客戶端-服務器架構,支持多種存儲引擎和索引優化。 3)基本用法包括創建表和插入數據,高級用法涉及多表JOIN和復雜查詢。 4)常見問題如SQL語法錯誤和性能問題可以通過EXPLAIN命令和慢查詢日誌調試。 5)性能優化方法包括合理使用索引、優化查詢和使用緩存,最佳實踐包括使用事務和PreparedStatemen

MySQL:從小型企業到大型企業MySQL:從小型企業到大型企業Apr 13, 2025 am 12:17 AM

MySQL適合小型和大型企業。 1)小型企業可使用MySQL進行基本數據管理,如存儲客戶信息。 2)大型企業可利用MySQL處理海量數據和復雜業務邏輯,優化查詢性能和事務處理。

幻影是什麼讀取的,InnoDB如何阻止它們(下一個鍵鎖定)?幻影是什麼讀取的,InnoDB如何阻止它們(下一個鍵鎖定)?Apr 13, 2025 am 12:16 AM

InnoDB通過Next-KeyLocking機制有效防止幻讀。 1)Next-KeyLocking結合行鎖和間隙鎖,鎖定記錄及其間隙,防止新記錄插入。 2)在實際應用中,通過優化查詢和調整隔離級別,可以減少鎖競爭,提高並發性能。

See all articles

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

AI Hentai Generator

AI Hentai Generator

免費產生 AI 無盡。

熱門文章

R.E.P.O.能量晶體解釋及其做什麼(黃色晶體)
3 週前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.最佳圖形設置
3 週前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.如果您聽不到任何人,如何修復音頻
3 週前By尊渡假赌尊渡假赌尊渡假赌
WWE 2K25:如何解鎖Myrise中的所有內容
4 週前By尊渡假赌尊渡假赌尊渡假赌

熱工具

ZendStudio 13.5.1 Mac

ZendStudio 13.5.1 Mac

強大的PHP整合開發環境

SublimeText3 英文版

SublimeText3 英文版

推薦:為Win版本,支援程式碼提示!

DVWA

DVWA

Damn Vulnerable Web App (DVWA) 是一個PHP/MySQL的Web應用程序,非常容易受到攻擊。它的主要目標是成為安全專業人員在合法環境中測試自己的技能和工具的輔助工具,幫助Web開發人員更好地理解保護網路應用程式的過程,並幫助教師/學生在課堂環境中教授/學習Web應用程式安全性。 DVWA的目標是透過簡單直接的介面練習一些最常見的Web漏洞,難度各不相同。請注意,該軟體中

SublimeText3漢化版

SublimeText3漢化版

中文版,非常好用

EditPlus 中文破解版

EditPlus 中文破解版

體積小,語法高亮,不支援程式碼提示功能