메모리 부족 없이 대용량 JSON 파일을 처리하는 방법은 무엇입니까?

메모리 과부하 없이 대용량 JSON 파일 처리

대량 JSON 파일을 메모리에 로드하면 메모리가 고갈될 수 있습니다. 다음 시나리오를 고려하십시오.

<code class="python">from datetime import datetime
import json

print(datetime.now())

f = open('file.json', 'r')
json.load(f)
f.close()

print(datetime.now())</code>

이 코드는 JSON 파일의 전체 내용을 로드하려고 시도하며 이로 인해 MemoryError가 발생할 수 있습니다. 이는 json.load()가 먼저 전체 파일을 메모리로 읽어들이는 json.loads(f.read())에 위임하기 때문입니다.

해결책: 스트리밍의 힘을 받아들이세요

메모리 제약을 피하려면 JSON 처리를 완전한 블록이 아닌 스트림으로 접근하는 것이 좋습니다. 여기에는 파일의 일부만 읽고 이를 처리한 다음 전체 파일이 처리될 때까지 반복적으로 계속되는 작업이 포함됩니다.

가장 권장되는 옵션 중 하나는 JSON 데이터 스트리밍에 맞춰진 모듈인 ijson입니다. 도움을 받으면 JSON을 정적 파일이 아닌 스트림으로 사용하여 메모리 제한을 효과적으로 피할 수 있습니다.

<code class="python"># With ijson
import ijson

with open('file.json', 'r') as f:
    for event, value in ijson.parse(f):
        # Process the event and value</code>

대체 솔루션

두 가지 주목할만한 대안 :

• json-streamer: 사용자 정의 가능한 옵션이 있는 또 다른 스트리밍 JSON 파서.
• bigjson: JSON 파일도 처리하기 위한 특수 패키지 메모리 용량이 큽니다. 데이터 탐색을 위한 커서 기반 인터페이스를 제공합니다.

이러한 기술을 활용하면 메모리 소모 없이 가장 큰 JSON 파일도 효율적으로 처리할 수 있습니다.

위 내용은 메모리 부족 없이 대용량 JSON 파일을 처리하는 방법은 무엇입니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!