搜尋

首頁  >  問答  >  主體

group-by - mysql group by 优化的问题

我有一张接近八千万条数据的彩虹表,然后里面有二十多万条的重复数据,我想使用GROUP BY 进行分组,但是使用了GROUP BY语句以后,mysql会生出一张零时表,而零时表,把我的硬盘全部沾满了,所以,求个办法,能帮去去处这重复的数据?

我的sql:

sql:

SELECT COUNT(id) FROM password WHERE length = 4 GROUP BY ciphertext

ringa_leeringa_lee2767 天前592

全部回覆(1)我來回復

  • 迷茫

    迷茫2017-04-17 16:33:14

    不贊成用一條SQL語句來搞定這類問題,因為資料庫耗不起。可以用程式來實作(例如寫Python腳本),步驟是這樣的:

    1. 把表A(8千萬行)複製一個表格結構,產生一張空表B;

    2. 對B的ciphertext欄位做唯一索引;

    3. 遍歷表A的每一行,插入到表B,可以用REPLACEINSERT INTO ... ON DUPLICATE KEY UPDATE ...

    4. 校驗表B的數據,如果結果正確,則刪除表A,把表B重新命名為表A。

    回覆
    0
  • 取消回覆