Wie kann ich 120 Millionen Datensätze in einer Datenbanktabelle effizient aktualisieren?

Optimierung von Massendatensatzaktualisierungsvorgängen

Problem:
Aktualisierung einer riesigen Tabelle mit 120 Millionen Datensätzen mithilfe von a Die einfache UPDATE-Anweisung ist fehlgeschlagen, selbst nachdem sie mehrere Male ausgeführt wurde Stunden.

Lösung:

Anstatt die vorhandene Tabelle zu aktualisieren, verwenden Sie eine SELECT-Anweisung, um eine neue Tabelle mit den gewünschten Werten zu füllen. Dieser Ansatz verbessert die Leistung erheblich und vermeidet die mit direkten Updates verbundenen Engpässe.

Schritte für nicht einfache Fälle:

1. Erstellen Sie eine Neue Tabelle mit der gewünschten Struktur:

   • Erstellen Sie die ursprüngliche Tabelle unter a anderes Schema mit demselben Clustered-Index, denselben Identitätsspalten, denselben berechneten Spalten und der neuen zu aktualisierenden Spalte.
   • Trigger, Fremdschlüsseleinschränkungen und andere nicht wesentliche Elemente ausschließen.

2. Testen Sie den Einfügevorgang:

   • Fügen Sie eine kleine ein Teilmenge der Zeilen in die neue Tabelle einfügen, um die Richtigkeit sicherzustellen.

3. Vorbereiten für Masseneinfügung:

   • Stellen Sie die Datenbank auf ein Massenprotokolliertes oder einfaches Wiederherstellungsmodell.
   • Neues abschneiden Tabelle.

4. Führen Sie die Masseneinfügung durch:

   • Fügen Sie alle Datensätze aus der Originaltabelle mit a in die neue Tabelle ein einzelne INSERT-Anweisung mit dem TABLOCK Hinweis.

5. Datenintegrität überprüfen:

   • Überprüfen Sie die neue Tabelle, um die erfolgreiche Aktualisierung zu bestätigen.

6. Einschränkungen neu erstellen und Auslöser:

   • Erstellen Sie alle nicht gruppierten Einschränkungen, Indizes und Auslöser in der neuen Tabelle neu und behalten Sie dabei das Schema in einem separaten Stapel bei.

7. Tabellen wechseln:

   • Verschieben Sie die ursprüngliche Tabelle nach Erstellen Sie ein Sicherungsschema und stellen Sie die neue Tabelle auf das gewünschte Schema um.
   • Führen Sie alle erforderlichen True-up-Vorgänge aus, um alle Änderungen abzugleichen, die während des Aktualisierungsprozesses aufgetreten sind.

Das obige ist der detaillierte Inhalt vonWie kann ich 120 Millionen Datensätze in einer Datenbanktabelle effizient aktualisieren?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!