Mysql中四種插入方法的效率對比

這篇文章透過實例跟大家介紹了Mysql中幾種插入方法的效率對比，這其中包括逐條插入、基於事務的批量插入、單條語句一次插入多組數據以及導入數據文件等四種方法的對比，文中透過實例代碼介紹很詳細，需要的朋友下來一起看看吧。

前言

最近因為工作的需要，要在Mysql裡插入大量的資料大約1000w，目測會比較耗時。所以現在就像是測試一下到底用什麼插入資料的方法比較快速有效率。

以下就針對每一種方法分別測試不同資料量下的插入效率。

測試資料庫的基本與操作如下：

mysql> create database test;
Query OK, 1 row affected (0.02 sec)
mysql> use test;
Database changed
mysql> create table mytable(id int primary key auto_increment ,value varchar(50));
Query OK, 0 rows affected (0.35 sec)
mysql> desc mytable;
+-------+-------------+------+-----+---------+----------------+
| Field | Type | Null | Key | Default | Extra  |
+-------+-------------+------+-----+---------+----------------+
| id | int(11) | NO | PRI | NULL | auto_increment |
| value | varchar(50) | YES | | NULL |  |
+-------+-------------+------+-----+---------+----------------+
2 rows in set (0.02 sec)

方便測試，這裡建了一個表，兩個字段，一個是自增的id，另一個是字串表示內容。

測試時每次實驗結束都要mysql> truncate mytable，來清空已存在的表。

方法一：逐條插入

#測試程式碼：（中間有1000條insert語句，用vim複製貼上比較方便，寫完後儲存到a.sql，然後在mysql提示字元中輸入source a.sql）

set @start=(select current_timestamp(6));
insert into mytable values(null,"value");
......
insert into mytable values(null,"value");
set @end=(select current_timestamp(6));
select @start;
select @end;

輸出結果：

Query OK, 1 row affected (0.03 sec)
......
Query OK, 1 row affected (0.03 sec)
Query OK, 0 rows affected (0.00 sec)
+----------------------------+
| @start   |
+----------------------------+
| 2016-05-05 23:06:51.267029 |
+----------------------------+
1 row in set (0.00 sec)
+----------------------------+
| @end   |
+----------------------------+
| 2016-05-05 23:07:22.831889 |
+----------------------------+
1 row in set (0.00 sec)

總共耗時31.56486s，事實上幾乎每個語句花的時間是差不多的，基本上就是30ms。

這樣子1000w的資料就得花87h。

至於更大的資料量也就不試了，這種方法肯定不可取。

方法二：基於交易的批次插入

#其實就是把這麼多的查詢放在一個交易中。事實上方法一中沒一條語句都開了一個事務，因此才會特別慢。

測試程式碼：（與方法一基本類似，主要新增兩行，由於比較快，這裡測試了多種資料量）

set @start=(select current_timestamp(6));
start transaction;
insert into mytable values(null,"value");
......
insert into mytable values(null,"value");
commit;
set @end=(select current_timestamp(6));
select @start;
select @end;

測試結果：

数据量 时间(s)
1k  0.1458
1w  1.0793
10w 5.546006
100w 38.930997

看出來基本上是對數時間，效率還是比較高的。

方法三：單一語句一次插入多組資料

就是一個insert一次插入多個value。

測試程式碼：

insert into mytable values (null,"value"),
    (null,"value"),
    ......
    (null,"value");

測試結果：

数据量 时间(s)
1k  0.15
1w  0.80
10w 2.14
100w *

看起來也是對數時間，而且比方法二要稍微快一點。不過問題在於單次SQL語句是有緩衝區大小限制的，雖然可以修改配置讓他變大，但也不能太大。所以在插入大批量的資料時也用不了。

方法四：匯入資料檔案

#將數字資料寫成資料檔案直接匯入（參考上一節）。

資料檔（a.dat）：

null value
null value
.....
null value
null value

測試程式碼：

mysql> load data local infile "a.dat" into table mytable;

測試結果：

数据量 时间(s)
1k  0.13
1w  0.75
10w 1.97
100w 6.75
1000w 58.18

時間最快，就是他了。 。 。 。

以上是Mysql中四種插入方法的效率對比的詳細內容。更多資訊請關注PHP中文網其他相關文章！