Golang はファイルのカットを実装します

ストレージ デバイスの容量が増加し続けるにつれて、より多くのデータを保存する必要があります。大きなファイルを処理する場合、メモリ不足の問題が発生することがよくありますが、この場合、ファイルのカットが有効な解決策となります。今日は、golang を使用してファイルのカットを実装する方法について説明します。

ファイルのカットとは、大きなファイルを一定のサイズに従っていくつかの小さなファイルにカットすることを指します。これらの小さなファイルは、ファイルの転送と保存を容易にするだけでなく、プログラムの効率も向上します。 golang では、ファイル パッケージを使用してファイルの切り取りを簡単に行うことができます。

まず、ファイル パッケージのいくつかの基本概念を理解する必要があります。

• ファイル ポインター: ファイル ポインターはファイル内の位置を表し、ファイル ポインターはファイル内の位置を表す整数であり、ファイル パッケージからの位置を示します。ファイルの先頭からこの位置のバイト数まで。
• ファイル情報: ファイル情報には、ファイル名、ファイル サイズ、作成時間などのファイルの基本属性が含まれます。
• ファイル操作: ファイル操作は、読み取り操作と書き込み操作に分類できます。読み取り操作はファイルからのデータの読み取りを指し、書き込み操作はファイルへのデータの書き込みを指します。

これらの基本概念を理解したら、ファイルの切断の実装を開始できます。大きなファイルを一定のサイズにカットし、分割された小さなファイルを指定したディレクトリに保存します。

まず、3 つのパッケージ os、bufio、log を導入し、いくつかの定数と変数を定義する必要があります。

package main

import (
    "bufio"
    "log"
    "os"
)

const (
    bufferSize = 4096   // 缓冲区大小
    maxFileSize = 1024 * 1024 * 1024   // 最大文件大小（1GB）
)

var (
    srcFile string   // 原始文件路径
    dstDir string   // 目标目录路径
    fileNum int   // 文件编号
)

次に、2 つのパラメーターを受け取るファイルを切り取る関数を定義します。切り取るファイルパスとターゲットディレクトリパス。

func splitFile(srcFile, dstDir string) {
    // 打开原始文件
    f, err := os.Open(srcFile)
    if err != nil {
        log.Fatal(err)
    }
    defer f.Close()

    // 获取原始文件信息
    fi, err := f.Stat()
    if err != nil {
        log.Fatal(err)
    }

    // 计算分割后的文件大小和个数
    fileSize := fi.Size()
    fileCount := int(fileSize/maxFileSize) + 1

    // 读取原始文件的缓冲区
    buffer := make([]byte, bufferSize)

    // 创建目标目录
    if _, err := os.Stat(dstDir); os.IsNotExist(err) {
        os.MkdirAll(dstDir, os.ModePerm)
    }

    // 将原始文件分割成多个小文件
    for i := 1; i <= fileCount; i++ {
        fileNum = i
        dstFile := dstDir + "/part_" + strconv.Itoa(i) + ".txt"
        f, err := os.Create(dstFile)
        if err != nil {
            log.Fatal(err)
        }
        writer := bufio.NewWriter(f)
        defer f.Close()

        // 将分割后的文件写入目标文件
        for j := 0; j < maxFileSize/bufferSize; j++ {
            n, err := f.Read(buffer)
            if err != nil {
                log.Fatal(err)
            }
            writer.Write(buffer[:n])
        }
        writer.Flush()
    }
}

上記の関数では、まず元のファイルを開いてファイル情報を取得します。次に、設定された最大ファイル サイズに基づいて、分割ファイルのサイズと数を計算します。次に、元のファイルのバッファを読み取り、ターゲット ディレクトリを作成し、元のファイルをいくつかの小さなファイルに分割します。

ファイルを分割するプロセスでは、ファイルを切り取るときに使用されるファイル番号を取得する関数も記述する必要があります。この機能も非常に簡単で、対象ディレクトリに既に存在する分割ファイルを読み込み、ファイル数を数えて1を足すだけです。

func getFileNum(dstDir string) int {
    files, err := ioutil.ReadDir(dstDir)
    if err != nil {
        log.Fatal(err)
    }
    return len(files) + 1
}

最後に、上記の関数を呼び出す別の main 関数を作成して、プログラムの実際の効果をテストします。

func main() {
    srcFile := "bigfile.txt"
    dstDir := "./split"

    splitFile(srcFile, dstDir)

    log.Println("Done!")
}

上記のコードを保存して実行すると、切り取られた小さなファイルが指定されたディレクトリに保存されていることがわかります。このようにして、大きなファイルの処理ニーズに簡単に対処できます。

以上がGolang はファイルのカットを実装しますの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。