システムメモリに過負荷をかけずに大きな JSON ファイルを効率的にロードするにはどうすればよいですか?

大量の JSON ファイルの効率的かつ迅速なロード

単純な json.load( ） 方法。この問題は、ファイルの内容全体を一度にメモリにロードする必要があるために発生します。

潜在的な解決策は、部分的なファイル ロード技術を活用することです。行区切りのテキスト ファイルの場合、行を反復処理できます。 JSON ファイルに対して同様のアプローチはありますか?

ijson: JSON 用の SAX ライク パーサー

この問題の解決策は、ijson ライブラリにあります。このライブラリは、SAX ライブラリが XML を処理する方法と同様の、SAX に似た解析アプローチを提供します。以下に使用例の概要を示します。

<code class="python">import ijson

for prefix, the_type, value in ijson.parse(open(json_file_name)):
    print(prefix, the_type, value)</code>

このコードでは、prefix は JSON ツリー内のドット区切りのインデックスを表し、the_type は SAX スタイルのイベント タイプ (マップ/配列の開始/終了など) を指定します。 、null、文字列など)、value はオブジェクトの値、または the_type がイベントの場合は None です。

制限事項とヒント

ijson はキー名を想定していることに注意してくださいドットを含めないでください。さらに、そのドキュメントはある程度制限されています。機能をより深く理解するために、ソース コードを調べることをお勧めします。

以上がシステムメモリに過負荷をかけずに大きな JSON ファイルを効率的にロードするにはどうすればよいですか?の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。