Go에서 대용량 CSV 파일을 효율적으로 처리하는 방법은 무엇입니까?

Go에서 효율적인 CSV 데이터 읽기 및 쓰기

제공되는 Go 코드는 10,000개의 레코드가 포함된 대용량 CSV 파일을 읽고 계산을 수행하며, 그런 다음 추가 점수 열을 사용하여 원래 값을 다른 CSV에 씁니다. 그러나 프로세스가 느리고 완료하는 데 몇 시간이 걸립니다. 이 기사에서는 코드를 최적화하기 위해 CSV 읽기 및 쓰기 작업의 잠재적인 비효율성을 조사합니다.

핵심 최적화 중 하나는 전체 파일을 메모리에 한 번에 로드하지 않는 것입니다. 원래 코드는 ReadAll()을 사용하여 모든 레코드를 하나의 조각으로 읽어오는데, 이는 대용량 파일에는 효율적이지 않습니다. 대신 파일이 한 번에 한 줄씩 처리되는 스트리밍 접근 방식이 선호됩니다.

이를 구현하려면 고루틴을 사용하여 CSV 파일을 한 줄씩 읽고 레코드를 채널로 보낼 수 있습니다. 기본 고루틴은 채널의 레코드를 사용하고, 계산을 수행하고, 결과를 출력 CSV에 쓸 수 있습니다. 구현 예는 다음과 같습니다.

<code class="go">func processCSV(rc io.Reader) (ch chan []string) {
    ch = make(chan []string, 10)
    go func() {
        r := csv.NewReader(rc)
        if _, err := r.Read(); err != nil { //read header
            log.Fatal(err)
        }
        defer close(ch)
        for {
            rec, err := r.Read()
            if err != nil {
                if err == io.EOF {
                    break
                }
                log.Fatal(err)

            }
            ch <- rec
        }
    }()
    return
}</code>

이 코드에서 processCSV() 함수는 리더를 가져와 CSV 파일에서 레코드를 내보내는 채널을 반환합니다. 그런 다음 기본 고루틴은 이 채널을 사용하여 레코드를 효율적으로 처리하고 쓸 수 있습니다.

이 스트리밍 접근 방식을 사용하면 CSV 읽기 및 쓰기 작업의 성능을 크게 향상시켜 대규모 처리에 코드를 더 효율적으로 만들 수 있습니다. CSV 파일.

위 내용은 Go에서 대용량 CSV 파일을 효율적으로 처리하는 방법은 무엇입니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!