>백엔드 개발 >Golang >Go에서 10초마다 대용량 파일의 마지막 줄을 효율적으로 읽는 방법은 무엇입니까?

Go에서 10초마다 대용량 파일의 마지막 줄을 효율적으로 읽는 방법은 무엇입니까?

DDD
DDD원래의
2024-11-07 11:43:031013검색

How to Efficiently Read the Last Lines from a Large File in Go Every 10 Seconds?

Go를 사용하여 10초마다 큰 파일의 마지막 줄을 읽는 방법

과제: 큰 로그 파일의 마지막 두 줄 읽기 전체 파일을 메모리에 로드하지 않고 이 프로세스를 10초마다 반복합니다.

해결책: Seek 또는 ReadAt 및 Stat 사용

Stat 함수: 전체 파일 로드를 방지하려면 메모리에 저장되면 os 패키지의 Stat() 함수를 사용하여 파일 길이를 얻을 수 있습니다. 이는 파일 크기를 바이트 단위로 제공합니다.

앞으로 찾기 또는 읽기:

  • Seek()를 사용하여 파일 포인터를 적절한 위치로 이동할 수 있습니다. 이 위치에서 특정 수의 바이트를 앞으로 읽으면 원하는 줄을 가져옵니다.
  • 또는 ReadAt() 함수를 사용하여 특정 위치에서 시작하는 특정 수의 바이트를 읽을 수 있습니다.

질문에 제공된 예를 고려하세요.

코드 조각:

package main

import (
    "fmt"
    "os"
    "time"
)

const MYFILE = "logfile.log"

func main() {
    c := time.Tick(10 * time.Second)
    for _ = range c {
        readFile(MYFILE)
    }
}

func readFile(fname string) {
    file, err := os.Open(fname)
    if err != nil {
        panic(err)
    }
    defer file.Close()

    buf := make([]byte, 62)
    stat, statErr := file.Stat()
    if statErr != nil {
        panic(statErr)
    }
    start := stat.Size() - 62
    _, err = file.ReadAt(buf, start)
    if err == nil {
        fmt.Printf("%s\n", buf)
    }

}

이 예에서는

  • Stat() 함수를 사용하여 파일 크기를 구합니다.
  • ReadAt()를 사용하여 특정 위치(파일 크기 - 62)부터 62바이트를 읽습니다.
  • 마지막 두 줄 그런 다음 바이트로 저장된 로그 파일이 인쇄됩니다.

위 내용은 Go에서 10초마다 대용량 파일의 마지막 줄을 효율적으로 읽는 방법은 무엇입니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

성명:
본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.