거대한 텍스트 파일의 마지막 10줄을 효율적으로 검색하려면 어떻게 해야 합니까?

대용량 텍스트 파일의 마지막 10줄을 효율적으로 검색

대규모 텍스트 처리 영역에서 유난히 큰 파일의 마지막 줄을 검색하면 독특한 도전. 크기가 10GB를 초과하는 파일 중 하나는 이 데이터를 효율적으로 얻는 데 큰 장애물이 됩니다.

이 문제를 해결하기 위한 효과적인 접근 방식은 파일을 끝부터 뒤로 탐색하는 것입니다. 우리는 원하는 줄이 있음을 나타내는 10개의 연속된 개행을 찾는 것을 목표로 합니다. 그런 다음 잠재적인 인코딩 변형을 고려하여 이러한 줄을 캡처하기 위해 앞으로 읽었습니다.

예를 들어 C#에서는 포괄적인 구현이 파일에 10개 미만의 줄이 포함된 경우를 처리합니다. 다음 코드 조각은 이러한 접근 방식을 예시합니다.

public static string ReadEndLines(string path, Int64 numberOfLines, Encoding encoding, string lineSeparator) {

    int sizeOfChar = encoding.GetByteCount("\n");
    byte[] buffer = encoding.GetBytes(lineSeparator);


    using (FileStream fs = new FileStream(path, FileMode.Open)) {
        Int64 lineCount = 0;
        Int64 endPosition = fs.Length / sizeOfChar;

        for (Int64 position = sizeOfChar; position < endPosition; position += sizeOfChar) {
            fs.Seek(-position, SeekOrigin.End);
            fs.Read(buffer, 0, buffer.Length);

            if (encoding.GetString(buffer) == lineSeparator) {
                lineCount++;
                if (lineCount == numberOfLines) {
                    byte[] returnBuffer = new byte[fs.Length - fs.Position];
                    fs.Read(returnBuffer, 0, returnBuffer.Length);
                    return encoding.GetString(returnBuffer);
                }
            }
        }

        // handle case where number of lines in file is less than numberOfLines
        fs.Seek(0, SeekOrigin.Begin);
        buffer = new byte[fs.Length];
        fs.Read(buffer, 0, buffer.Length);
        return encoding.GetString(buffer);
    }
}

위 내용은 거대한 텍스트 파일의 마지막 10줄을 효율적으로 검색하려면 어떻게 해야 합니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!