메모리 부족 없이 기가바이트 크기의 파일을 한 줄씩 처리하는 방법은 무엇입니까?

메모리 오버로드 없이 대용량 파일을 한 줄씩 읽는 방법

긴 파일을 한 줄씩 읽는 것은 어려울 수 있으며, 특히 파일 크기가 시스템 메모리를 초과하는 경우 더욱 그렇습니다. 용량. 이러한 시나리오에서 표준 방법을 사용하여 전체 파일을 메모리에 로드하려고 시도하면 메모리 부족 오류가 발생하는 경우가 많습니다.

다음 코드 조각을 고려하세요.

with open('inputfile.txt', 'r') as f:
    for line in f:
        # Process the line

이 코드를 대용량 파일의 경우 전체 파일이 메모리에 로드되므로 파일이 기가바이트 범위에 있는 경우 문제가 발생할 수 있습니다.

이 문제를 방지하려면 다음을 사용하는 것이 좋습니다. 전체 파일을 메모리에 로드하지 않고도 파일을 한 줄씩 읽을 수 있는 fgets() 함수:

with open('inputfile.txt', 'r') as f:
    while True:
        line = fgets(f)
        if not line: break
        # Process the line

이 접근 방식은 파일을 한 줄씩 읽어 각 줄이 처리되면 메모리를 확보합니다. 메모리 부족 오류를 방지합니다.

위 내용은 메모리 부족 없이 기가바이트 크기의 파일을 한 줄씩 처리하는 방법은 무엇입니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!