Comment réaliser une copie groupée de DataTables dans MySQL tout en conservant les performances ?

Utilisation de MySQLBulkLoader pour copier en masse un DataTable

Question

Lors de la transition de Microsoft SQL Server vers MySQL, comment peut-on la copie de DataTables peut-elle être réalisée sans sacrifier les performances ?

Réponse

Bien qu'il puisse sembler intuitif d'éviter d'écrire dans un fichier CSV avant d'insérer des données, les tests de performances indiquent le contraire. L'utilisation de la classe MySqlBulkLoader pour charger en masse des données à partir d'un fichier CSV surpasse considérablement les insertions directes avec un MySqlDataAdapter.

Implémentation :

<code class="csharp">string tempCsvFileSpec = @"C:\Users\Gord\Desktop\dump.csv";

using (StreamWriter writer = new StreamWriter(tempCsvFileSpec))
{
    Rfc4180Writer.WriteDataTable(rawData, writer, false);
}

var msbl = new MySqlBulkLoader(conn);
msbl.TableName = "testtable";
msbl.FileName = tempCsvFileSpec;
msbl.FieldTerminator = ",";
msbl.FieldQuotationCharacter = '"';
msbl.Load();

System.IO.File.Delete(tempCsvFileSpec);</code>

Ce code vide le DataTable dans un fichier CSV temporaire, charge les données en masse, puis supprime le fichier. L'analyse comparative montre que cette approche ne prend que 5 à 6 secondes, y compris le temps nécessaire aux opérations d'E/S sur les fichiers. En revanche, les insertions directes avec MySqlDataAdapter prennent environ 30 secondes.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!