Comment puis-je traiter efficacement des fichiers texte volumineux ligne par ligne pour éviter les problèmes de mémoire ?

Lecture de fichiers texte volumineux ligne par ligne, avec une mémoire efficace

Pour traiter des fichiers texte volumineux sans surcharger votre mémoire, nous explorons une approche qui les lit une ligne à la fois, sans charger l'intégralité de leur contenu.

Solution :

La clé est de parcourir l'objet fichier lui-même, en utilisant une boucle for :

with open("log.txt") as infile:
    for line in infile:
        print(line)

En utilisant un gestionnaire de contexte (avec open(...)), nous nous assurons que le fichier est bien fermé après traitement.

Comment ça Fonctionne :

La fonction open() renvoie un objet fichier qui prend en charge l'itération. Chaque ligne du fichier est représentée sous forme de chaîne et la boucle parcourt ces lignes. Cela vous permet de traiter chaque ligne individuellement sans avoir à charger l'intégralité du fichier en mémoire.

Exemple d'utilisation :

En supposant que log.txt est un fichier texte volumineux, le le code le lirait ligne par ligne comme suit :

with open("log.txt") as infile:
    for line in infile:
        # Perform operations on each line here (e.g., print, write to another file)

Avantages :

• Efficace en mémoire : une seule ligne est chargée en mémoire à la fois.
• Évolutif : peut être utilisé pour traiter des fichiers volumineux, même ceux comportant des milliards de lignes.
• Simple et portable : fonctionne sur diverses plates-formes et environnements de programmation.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!