速度を優先しながら大規模な MySQL データベースから重複データを効率的に削除するにはどうすればよいですか?

大規模な MySQL データベースからの重複データの効率的な削除

大規模なデータベースを扱う場合、重複によってサイズが大幅に肥大化し、パフォーマンスに影響を与える可能性があります。このようなシナリオでは、これらの重複を迅速かつ効率的に削除することが重要になります。

問題:

かなりの量の重複データを含む大規模な MySQL データベースがあります。クエリの実行時間を短縮しながら、これらの重複を排除する必要があります。一意性の基準は、text1 と text2 の 2 つのフィールドの組み合わせによって決まります。重複が発生した場合は、NULL 以外の text3 フィールドを持つレコードを 1 つだけ保持する必要があります。

解決策:

次の最適化されたアプローチでは、ON DUPLICATE KEY と IFNULL を使用します。 () 関数:

CREATE TABLE tmp LIKE yourtable;

ALTER TABLE tmp ADD UNIQUE (text1, text2);

INSERT INTO tmp SELECT * FROM yourtable 
    ON DUPLICATE KEY UPDATE text3=IFNULL(text3, VALUES(text3));

RENAME TABLE yourtable TO deleteme, tmp TO yourtable;

DROP TABLE deleteme;

これの主な利点アプローチ:

• ソートを回避します: GROUP BY または DISTINCT に依存する操作とは異なり、このソリューションはソートを必要としません。これは、大きなテーブルの場合、特にリソースを大量に消費する可能性があります。
• 一意のインデックスを利用します: (text1, text2) は高速な検索を保証し、INSERT フェーズ中の重複挿入を防ぎます。
• 効率的な更新: IFNULL() は、既存のレコードの text3 フィールドが既に非 NULL 値に設定されているかどうかを評価します。 。そうでない場合は、受信レコードの NULL 以外の値でフィールドを更新します。
• 高速挿入: 既存のテーブルを更新するのではなく、新しいテーブル (tmp) にデータを挿入すると、変更が必要なため、パフォーマンスが向上します。
• テーブルの名前変更: 最終的に、元のテーブルの名前が一時テーブルに変更されます。名前 (deleteme) を使用すると、新しいテーブル (tmp) が更新されたデータで置き換えられるようになります。その後、元のテーブルを削除できます。

この最適化されたアプローチを採用すると、クエリの実行時間を最小限に抑えながら、大規模な MySQL データベースから重複データを効果的に削除できます。

以上が速度を優先しながら大規模な MySQL データベースから重複データを効率的に削除するにはどうすればよいですか?の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。