如何有效地從大型 MySQL 資料庫中刪除重複項，同時優先考慮特定資料？

從大型MySQL 資料庫中有效刪除重複項

保持大型MySQL 資料庫不含重複項對於資料完整性和效能至關重要。然而，對於大量表格來說，識別和刪除重複項可能是一項艱鉅的任務。用戶面臨的一個常見挑戰是需要從包含數百萬行的大量資料庫中快速刪除重複項，其中重複刪除通常會成為一個耗時的過程。

重複刪除遇到的典型場景涉及一張表包含 id、text1、text2 和 text3 列，其中 text1 和 text2 的組合應該是唯一的。如果存在任何重複項，則僅應保留 text3 具有非 NULL 值的一種組合。例如，給定資料：

| id | text1 | text2 | text3 |
| --- | ----- | ----- | ----- |
| 1   | abc   | def   | NULL   |
| 2   | abc   | def   | ghi    |
| 3   | abc   | def   | jkl    |
| 4   | aaa   | bbb   | NULL   |
| 5   | aaa   | bbb   | NULL   |

...預期的結果將是：

| id | text1 | text2 | text3 |
| --- | ----- | ----- | ----- |
| 1   | abc   | def   | ghi   |
| 2   | aaa   | bbb   | NULL  |

而解決方案如CREATE TABLE tmp SELECT text1, text2, text3 FROM my_tbl;文本1、文本2分組；或SELECT DISTINCT可能適用於較小的資料庫，但在處理大型表時，它們經常會遇到執行時間延長的問題。

為了解決這個挑戰，一個有效的方法是結合使用 on重複鍵和 ifnull():

create table tmp like yourtable;

alter table tmp add unique (text1, text2);

insert into tmp select * from yourtable
    on duplicate key update text3 = ifnull(text3, values(text3));

rename table yourtable to deleteme, tmp to yourtable;

drop table deleteme;

這種方法採用了最佳化策略。它會建立一個與原始表類似的新表 tmp。然後，它對 text1 和 text2 添加唯一約束以強制唯一性。隨後，利用 on重複鍵子句將 yourtable 中的資料插入 tmp 中。此子句確保如果遇到任何重複行，則新資料中的 text3 列優先於現有值。為了完成這個過程，原始 yourtable 被重新命名為 deleteme，而 tmp 被重新命名為 yourtable，從而有效地用無重複資料替換舊表。最後，deleteme 表被刪除。

此方法消除了對 GROUP BY 或 DISTINCT 等計算量大的操作的需要，並利用了 MySQL 複雜的查詢最佳化功能。因此，它顯著縮短了執行時間，甚至可以從大型資料庫中快速刪除重複項。

以上是如何有效地從大型 MySQL 資料庫中刪除重複項，同時優先考慮特定資料？的詳細內容。更多資訊請關注PHP中文網其他相關文章！