golang が大きなファイルを処理する方法

開発では、大きなファイルを処理する必要がある場面がよくありますが、効率的で同時処理に適した言語である Go 言語は、必然的に大きなファイルの処理を伴います。大きなファイルの読み取り、書き込み、または変更を行う場合は、次のようないくつかの問題を考慮する必要があります。 メモリ リークを回避するにはどうすればよいですか?効率的に対処するにはどうすればよいでしょうか?この記事では、大きなファイルを処理するためのいくつかの方法を紹介し、プログラムのクラッシュを避けるために大きすぎるファイルを処理する方法に焦点を当てます。

1. セグメンテーション処理を使用する

一般的に、大きなファイルの読み取り、書き込み、変更のいずれを行う場合でも、メモリ リークやプログラムのクラッシュを回避する方法を考慮する必要があります。大きなファイルを効率的に処理するために、大きなファイルを複数の小さなファイルに分割し、小さなファイルを読み書きする分割処理がよく使用されます。

Go 言語では、io.LimitReader() メソッドと io.MultiReader() メソッドを使用してファイルを分割し、大きなファイルを複数の小さなファイルに分割できます。 . ファイルはマルチスレッドを使用して処理されます。

次のコードで 500MB を超える大きなファイルを読み取ります:

var (
    maxSize int64 = 100 * 1024 * 1024 //100MB
)
func readBigFile(filename string) (err error) {
    file, err := os.Open(filename)
    if err != nil {
        return err
    }
    defer file.Close()

    fileInfo, err := file.Stat()
    if err != nil {
        return err
    }

    if fileInfo.Size() <= maxSize {
        _, err = io.Copy(os.Stdout, file)
    } else {
        n := (fileInfo.Size() + (maxSize - 1)) / maxSize
        var err error
        for i := int64(0); i < n; i++ {
            eachSize := maxSize
            if i == n-1 {
                eachSize = fileInfo.Size() - (n-1)*maxSize
            }
            sectionReader := io.NewSectionReader(file, i*maxSize, eachSize)
            _, err = io.Copy(os.Stdout, sectionReader)
            if err != nil {
                return err
            }
        }
    }
    return nil
}

上記のコードでは、読み取られたファイル サイズが最大許容値を超えると、複合読み取り方式が使用され、大きなサイズを分割します。ファイルを同じサイズの複数のブロックに分割して読み取り、最後にそれらを最終結果にマージします。

上記の方法は、もちろん大きなファイルの読み取りプロセスに最適化されていますが、場合によってはファイルの書き込みが必要になることもあります。

2. 大きなファイルを書き込む

Go で大きなファイルを書き込む最も簡単な方法は、bufio.NewWriterSize() 関数パッケージ Go を使用することです。 os.File() に書き込み、書き込み前に現在のバッファがいっぱいかどうかを確認します。バッファがいっぱいになったら、Flush() メソッドを呼び出して、バッファ内のデータをハードディスク。 。大きなファイルを書き込むこの方法はシンプルで実装が簡単で、大きなファイルの書き込みに適しています。

    writer := bufio.NewWriterSize(file, size)
    defer writer.Flush()
    _, err = writer.Write(data)

3. 大きな CSV ファイルの処理

大きなファイルの読み取りと書き込みに加えて、大きな CSV ファイルも処理する場合があります。 CSV ファイルを処理する場合、ファイルが大きすぎるとプログラムのクラッシュが発生するため、これらの大きな CSV ファイルを処理するにはいくつかのツールを使用する必要があります。 Go 言語には、大きな CSV ファイルを高速に処理するという目的を達成するために、複数のファイルを同時に処理できるゴルーチンとチャネルと呼ばれる機構が用意されています。

Go 言語では、csv.NewReader() メソッドと csv.NewWriter() メソッドを使用して、CSV ファイルの読み取りと書き込みのためのプロセッサをそれぞれ構築できます。 、ファイルを 1 行ずつスキャンしてデータを読み取ります。 CSV ファイルのパイプラインを使用して、データを行ごとに保存する方法を処理します。

func readCSVFile(path string, ch chan []string) {
    file, err := os.Open(path)
    if err != nil {
        log.Fatal("读取文件失败:", err)
    }
    defer file.Close()
    reader := csv.NewReader(file)
    for {
        record, err := reader.Read()
        if err == io.EOF {
            break
        } else if err != nil {
            log.Fatal("csv文件读取失败:", err)
        }
        ch <- record
    }
    close(ch)
}

func writeCSVFile(path string, ch chan []string) {
    file, err := os.Create(path)
    if err != nil {
        log.Fatal("创建csv文件失败:", err)
    }
    defer file.Close()
    writer := csv.NewWriter(file)
    for record := range ch {
        if err := writer.Write(record); err != nil {
            log.Fatal("csv文件写入失败: ", err)
        }
        writer.Flush()
    }
}

上記のコードでは、csv.NewReader() メソッドを使用してファイルを走査し、データの各行を配列に格納して、その配列をチャネルに送信します。 CSV ファイルの読み取り中に、ゴルーチンとチャネルを使用してファイル全体を同時にスキャンしました。読み取り後、チャネルを閉じて、ファイルの読み取りが完了したことを示します。

上記の方法により、大きなファイルを処理するときにデータ全体をメモリに読み込む必要がなくなり、メモリ リークやプログラムのクラッシュが回避され、プログラムの実行効率も向上します。

概要:

上記の紹介では、分割処理の使用、大きなファイルの書き込み、大きな CSV ファイルの処理など、大きなファイルを処理するいくつかの方法について説明しました。実際の開発では、ビジネス ニーズに基づいて大きなファイルを処理する適切な方法を選択し、プログラムのパフォーマンスと効率を向上させることができます。同時に、大きなファイルを処理する場合は、メモリの問題に焦点を当て、メモリ使用量を合理的に計画し、メモリ リークを回避する必要があります。

Go 言語を使用して大きなファイルを処理する場合、ゴルーチンやチャネルなどの Go 言語の機能を最大限に活用して、プログラムが大きなファイルを効率的に処理し、メモリ リークやプログラムのクラッシュを回避できます。この記事では比較的基本的な内容を紹介しますが、これらの方法は開発中の大きなファイルの処理に適用できるため、プログラムのパフォーマンスと効率が向上します。

以上がgolang が大きなファイルを処理する方法の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。