首頁 >資料庫 >mysql教程 >mysql 如何插入隨機字串資料的實作方法_MySQL

mysql 如何插入隨機字串資料的實作方法_MySQL

WBOY
WBOY原創
2016-10-09 08:33:371547瀏覽

應用場景:
有時需要測試插入資料庫的記錄來測試,所以就非常需要用到這些腳本。

建立表:

CREATE TABLE `tables_a` (
  `id` int(10) NOT NULL DEFAULT '0',
  `name` char(50) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

建立產生隨機字串的函數:

set global log_bin_trust_function_creators = 1;
DROP FUNCTION IF EXISTS rand_string;
DELIMITER //
CREATE FUNCTION rand_string(n INT)
RETURNS VARCHAR(255)
BEGIN
        DECLARE chars_str varchar(100) DEFAULT 'abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789';
        DECLARE return_str varchar(255) DEFAULT '';
        DECLARE i INT DEFAULT 0;
        WHILE i < n DO
                SET return_str = concat(return_str,substring(chars_str , FLOOR(1 + RAND()*62 ),1));
                SET i = i +1;
        END WHILE;
        RETURN return_str;
END //
delimiter ; 

建立插入表的procedure,x是從多少開始。 y是多少結束,z是產生多少位隨機數

delimiter // 
create procedure test(x int(10),y int(10),z int(10))
begin
  DECLARE i INT DEFAULT x;
  while i<y do
 insert into tables_a values(i,rand_string(z));
 set i=i+1;
 end whi

mysql隨機資料產生並插入

dblp資料庫中引用資料很少,平均一篇論文引用0.2篇。使用dblp做實驗資料集的某篇論文提到,可以隨機加入引用資訊。受此啟發,我打算為每一篇論文都添加20篇隨機引用,於是就寫出瞭如下的sql語句:

String sql = "insert into citation(pId1,pId2) values( (select pId from papers limit ?,1),(select pId from papers limit ?,1))";

使用preparedstatement,以batch方式提交資料庫。

第一個參數是paper的rowid訊息,從0~N(N為papers的total row)。第二個參數是Java產生的20個不重複的隨機數,範圍是0-N。然後嵌套在for迴圈裡,每1w個資料提交給資料庫一次。

這段程式碼巧妙運用limit的特性完成隨機選tuple,本來是暗暗得意的。自以為把所有的select都交給資料庫去做了,省去了通過jdbc的多次連接,應該是很快就可以運行完成的。哪知,插了不過10w條(10000*10)數據,就耗時22分鐘之多。最後的實驗需要插入400w條數據,也就是說要花14h左右。

於是開始反思,不斷做寫類似的程式查找時間瓶頸,最後鎖定在select limit,這個操作極耗時間。當初選用limit,原因在於:隨機產生的是數字,要把數字映射到tuple,也就是對應到rowid;由於papers表的主鍵並非遞增int,所以預設的rowid不存在。後來一想,可以在papers表上先增加一個auto_increment的temp列,完成citation插入後再刪除。這樣sql語句就改成了:

String sql = "insert into citation(pId1,pId2) values((select pId from papers where temp=?), (select pId from papers where temp=?))";

再一次插入10w條數據,耗時38s。效率大幅提高,但不知道還可不可以進一步優化。

陳述:
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn