首頁 > 文章 > 資料庫 > mysql千萬級資料分頁查詢效能優化_Mysql

mysql千萬級資料分頁查詢效能優化_Mysql

小云云原創: 2017-12-08 09:22:002351瀏覽

mysql資料量大時使用limit分頁，隨著頁碼的增加，查詢效率越低。本文給大家分享的是作者在使用mysql進行千萬級資料量分頁查詢的時候進行效能優化的方法，非常好的一篇文章，希望能幫助大家。

實驗

1.直接使用用limit start, count分頁語句：

select * from order limit start, count

#當起始頁較小時，查詢沒有效能問題，我們分別看下從10， 100， 1000， 10000開始分頁的執行時間（每頁取20條），如下：

select * from order limit 10, 20 0.016秒

select * from order limit 100, 20 0.016秒

select * from order limit 1000, 20 0.047秒

select * from order limit 10000, 20 0.094秒

我們已經看出隨著起始記錄的增加，時間也隨著增大，這說明分頁語句limit跟起始頁碼是有很大關係的，那麼我們把起始記錄改為40w看下

select * from order limit 400000, 20 3.229秒

再看我們取最後一頁記錄的時間

#select * from order limit 800000, 20 37.44秒

顯然這種時間是無法忍受的。

從中我們也能總結出兩件事：

1）limit語句的查詢時間與起始記錄的位置成正比

2）mysql的limit語句是很方便，但是記錄很多的表格並不適合直接使用。

2.對limit分頁問題的效能最佳化方法

利用表格的覆蓋索引來加速分頁查詢

我們都知道，利用了索引查詢的語句中如果只包含了那個索引列（覆蓋索引），那麼這種情況會查詢很快。

因為利用索引查找有最佳化演算法，且資料就在查詢索引上面，不用再去找相關的資料位址了，這樣節省了很多時間。另外Mysql中也有相關的索引緩存，在並發高的時候利用快取就效果更好了。

在我們的例子中，我們知道id欄位是主鍵，自然就包含了預設的主鍵索引。現在讓我們來看看利用覆蓋索引的查詢效果如何：

這次我們之間查詢最後一頁的資料（利用覆蓋索引，只包含id列），如下：

select id from order limit 800000, 20 0.2秒

相對於查詢了所有列的37.44秒，提升了大概100多倍的速度

#那麼如果我們也要查詢所有列，有兩種方法，一種是id>=的形式，另一種就是利用join，看下實際情況：

SELECT * FROM order WHERE ID > =(select id from order limit 800000, 1) limit 20

查詢時間為0.2秒，簡直是一個質的飛躍啊，哈哈

#另一種寫法

#SELECT * FROM order a JOIN (select id from order limit 800000, 20) b ON a.ID = b.id

查詢時間也很短。

大家學會了嗎？趕快動手嘗試。

mysql千萬級資料分頁查詢效能優化_Mysql

相關文章