Wie kann ich 2 Millionen Zeilen effizient in SQL Server einfügen?

Fügen Sie 2 Millionen Datenzeilen effizient stapelweise in die SQL Server-Datenbank ein

Beim Einfügen großer Datenmengen in eine SQL Server-Datenbank ist die Optimierung des Einfügungsprozesses von entscheidender Bedeutung. In diesem Artikel wird umfassend die beste Methode zum effizienten Einfügen von 2 Millionen Datenzeilen vorgestellt.

Verwenden Sie SqlBulkCopy

Die SqlBulkCopy-Klasse ist ideal für Masseneinfügungen. Es überträgt Daten schnell von .NET DataTable oder IEnumerable direkt in SQL Server-Tabellen. Durch die Nutzung datenorientierter Vorgänge wird das herkömmliche zeilenweise Einfügen umgangen und die Verarbeitungszeit erheblich verkürzt.

Implementierungsschritte

Um SqlBulkCopy effektiv zu nutzen, befolgen Sie diese Schritte:

1. Stellen Sie eine Verbindung zum SQL Server her.
2. Erstellen Sie eine SqlBulkCopy-Instanz und geben Sie dabei den Namen der Zieltabelle und alle gewünschten Optionen (z. B. Trigger) an.
3. Öffnen Sie die Verbindung.
4. Verwenden Sie die Methode WriteToServer(), um Daten zu übertragen.
5. Schließen Sie die Verbindung.

Das Folgende ist ein C#-Beispiel:

using (SqlConnection connection = new SqlConnection(connString))
{
    SqlBulkCopy bulkCopy = new SqlBulkCopy(connection, SqlBulkCopyOptions.TableLock | SqlBulkCopyOptions.FireTriggers, null);
    bulkCopy.DestinationTableName = tableName;
    connection.Open();
    bulkCopy.WriteToServer(dataTable);
    connection.Close();
}

Andere Methoden

Wenn der Datensatz in einer Textdatei gespeichert ist, sollten Sie erwägen, ihn in einen Datensatz einzulesen und ihn mithilfe der OpenXML-Funktionalität in XML zu konvertieren. Dieses XML kann dann für Masseneinfügungen an die Datenbank übergeben werden. Allerdings kann dieser Ansatz insbesondere bei großen Datensätzen erhebliche Speicherressourcen erfordern.

Überlegungen zum Speicher

Bitte beachten Sie, dass das Laden und Einfügen von 2 Millionen Datenzeilen den Speicher Ihres Systems belasten kann. Erwägen Sie bei Bedarf die Verwendung eines Servers mit ausreichender Speicherkapazität oder prüfen Sie andere Lösungen wie Datenstreaming oder inkrementelle Einfügungen.

Das obige ist der detaillierte Inhalt vonWie kann ich 2 Millionen Zeilen effizient in SQL Server einfügen?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!