Comment puis-je lire efficacement un fichier texte de 1 Go dans .NET ?

Moyens efficaces de lire un fichier texte massif de 1 Go dans .NET

Lorsque vous traitez des fichiers texte extrêmement volumineux atteignant des gigaoctets, il est crucial de les lire efficacement pour les maintenir performance. Dans .NET, il existe plusieurs approches pour relever ce défi.

Une méthode consiste à exploiter la classe StreamReader avec sa méthode polyvalente ReadLine. Cependant, pour des fichiers d’une taille allant jusqu’à 1 Go, cette approche peut devenir lourde et lente. Une solution plus optimisée consiste à utiliser MemoryMappedFile, une classe explicitement conçue pour gérer des fichiers volumineux dans .NET 4.0 et versions ultérieures.

Pour utiliser MemoryMappedFile, vous pouvez créer une instance de la classe comme ceci :

MemoryMappedFile mmf = MemoryMappedFile.CreateFromFile(filePath, FileMode.Open, null, fileLength);

Une fois le fichier mappé en mémoire établi, vous pouvez accéder directement au contenu du fichier sans le lire en mémoire. Cette approche offre des gains de performances significatifs pour les opérations sur des fichiers volumineux.

Par exemple, pour lire une ligne du fichier à l'aide de MemoryMappedFile :

byte[] buffer = new byte[1024];
mmf.CreateViewAccessor().ReadArray(byteOffset, buffer, 0, bufferSize);
string line = Encoding.UTF8.GetString(buffer);

Alternativement, si vous préférez utiliser StreamReader, vous pouvez optimisez le processus de lecture en utilisant un tampon :

using (StreamReader sr = new StreamReader(filePath))
{
    char[] buffer = new char[4096];
    int charsRead;
    while ((charsRead = sr.ReadBlock(buffer, 0, buffer.Length)) != 0)
    {
        // Process the buffered data...
    }
}

En utilisant la lecture basée sur un tampon, vous pouvez réduire le nombre d'opérations d'accès au disque, ce qui entraîne performances améliorées pour les fichiers volumineux.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!