Java는 대용량 파일을 효율적으로 읽습니다.

1. 개요

이 튜토리얼에서는 Java를 사용하여 대용량 파일을 효율적으로 읽는 방법을 보여줍니다. 이 기사는 Baeldung(http://www.baeldung.com/)의 "Java - Back to Basics" 튜토리얼 시리즈의 일부입니다.

2. 메모리에서 읽기

파일 줄을 읽는 표준 방법은 메모리에서 읽는 것입니다. Guava와 Apache Commons IO는 모두 아래와 같이 파일 줄을 읽는 빠른 방법을 제공합니다.

Files.readLines(new File(path), Charsets.UTF_8);
 
FileUtils.readLines(new File(path));

이 방법의 문제점은 파일의 모든 행이 메모리에 저장된다는 것입니다. 파일이 충분히 크면 프로그램에서 곧 OutOfMemoryError 예외가 발생하게 됩니다.

예: 약 1G의 파일 읽기:

@Test
public void givenUsingGuava_whenIteratingAFile_thenWorks() throws IOException {
    String path = ...
    Files.readLines(new File(path), Charsets.UTF_8);
}

이 방법은 처음에는 메모리를 거의 차지하지 않습니다. (약 0Mb의 메모리가 소비됩니다)

[main] INFO  org.baeldung.java.CoreJavaIoUnitTest - Total Memory: 128 Mb
[main] INFO  org.baeldung.java.CoreJavaIoUnitTest - Free Memory: 116 Mb

그러나 모든 파일을 메모리로 읽어들이면 마침내 확인할 수 있습니다(약 2GB의 메모리가 소비됨).

[main] INFO  org.baeldung.java.CoreJavaIoUnitTest - Total Memory: 2666 Mb
[main] INFO  org.baeldung.java.CoreJavaIoUnitTest - Free Memory: 490 Mb

이는 이 프로세스가 약 2.1GB의 메모리를 소비한다는 것을 의미합니다. 이유는 간단합니다. 이제 파일의 모든 줄이 메모리에 저장됩니다.

파일의 전체 내용을 메모리에 넣으면 사용 가능한 메모리가 빠르게 소진됩니다. 실제로 사용 가능한 메모리의 양에 관계없이 이는 명백합니다.

또한 일반적으로 파일의 모든 줄을 한 번에 메모리에 넣을 필요는 없습니다. 대신 파일의 각 줄을 반복하고 적절한 처리를 수행한 후 버리면 됩니다. 처리 후. 이것이 바로 우리가 하려는 일입니다. 모든 행을 메모리에 보관하는 대신 행 전체를 반복하는 것입니다.

3. 파일 스트림

이제 이 솔루션을 살펴보겠습니다. java.util.Scanner 클래스를 사용하여 파일 내용을 스캔하고 한 줄씩 계속해서 읽습니다.

FileInputStream inputStream = null;
Scanner sc = null;
try {
    inputStream = new FileInputStream(path);
    sc = new Scanner(inputStream, "UTF-8");
    while (sc.hasNextLine()) {
        String line = sc.nextLine();
        // System.out.println(line);
    }
    // note that Scanner suppresses exceptions
    if (sc.ioException() != null) {
        throw sc.ioException();
    }
} finally {
    if (inputStream != null) {
        inputStream.close();
    }
    if (sc != null) {
        sc.close();
    }
}

이 방식은 파일의 모든 줄을 반복하므로 각 줄을 참조하지 않고도 처리할 수 있습니다. 즉, 메모리에 저장되지 않습니다. (약 150MB의 메모리가 소모됩니다.)

[main] INFO  org.baeldung.java.CoreJavaIoUnitTest - Total Memory: 763 Mb
[main] INFO  org.baeldung.java.CoreJavaIoUnitTest - Free Memory: 605 Mb

4. Apache Commons IO 스트림

또한 다음을 제공하는 Commons IO 라이브러리를 사용할 수도 있습니다. 사용자 정의 LineIterator:

LineIterator it = FileUtils.lineIterator(theFile, "UTF-8");
try {
    while (it.hasNext()) {
        String line = it.nextLine();
        // do something with line
    }
} finally {
    LineIterator.closeQuietly(it);
}

전체 파일이 메모리에 저장되지 않으므로 매우 보수적인 메모리 소비가 발생합니다. (약 150MB의 메모리 소비)

[main] INFO  o.b.java.CoreJavaIoIntegrationTest - Total Memory: 752 Mb
[main] INFO  o.b.java.CoreJavaIoIntegrationTest - Free Memory: 564 Mb