Comment puis-je charger efficacement des fichiers JSON volumineux sans consommer trop de mémoire ?

Explorer le chargement de fichiers JSON économe en mémoire

Le chargement de gros fichiers JSON avec des contraintes de mémoire peut poser un défi. Si vous utilisez la fonction standard json.load() pour lire l'intégralité du fichier en une seule fois, la consommation de mémoire peut augmenter. Heureusement, il existe des alternatives qui permettent le chargement partiel de fichiers.

Présentation d'ijson : l'analyseur SAX pour JSON

ijson, semblable à SAX pour XML, permet aux utilisateurs d'analyser de manière itérative Fichiers JSON. Cela fournit une analogie avec l'itération ligne par ligne dans les fichiers texte, résolvant les problèmes de mémoire.

Utiliser ijson pour charger des parties d'un fichier JSON

Pour utiliser ijson pour le chargement partiel du fichier JSON, suivez ces étapes :

1. Importez la bibliothèque ijson.
2. Parcourez le fichier à l'aide de ijson.parse(open(json_file_name)).
3. Pour chaque préfixe, type et valeur, définissez les actions souhaitées.

Exemple de code

Voici un exemple d'utilisation d'ijson pour analyser un fichier JSON :

<code class="python">import ijson
for prefix, the_type, value in ijson.parse(open(json_file_name)):
    print(prefix, the_type, value)</code>

Dans ce code, le préfixe représente l'index séparé par des points dans l'arborescence JSON, the_type indique l'événement de type SAX et la valeur contient la valeur de l'objet ou None pour les types d'événements.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!