Wie streame ich große Dateien mit Go nach AWS S3?

Streamen Sie den Datei-Upload in AWS S3 mit Go

Herausforderung:

Streamen Sie einen großen Multipart /form-data-Datei direkt in AWS S3, wodurch der Speicher- und Festplattenbedarf minimiert wird.

Lösung:

Um dies zu erreichen, verwenden wir den S3 Uploader von Github .com/aws/aws-sdk-go-Bibliothek.

Implementierung:

1. Erstellen Sie einen neuen S3-Uploader, der mit den gewünschten Parametern konfiguriert ist (Chunk-Größe, Parallelität, usw.).
2. Öffnen Sie die hochzuladende Datei.
3. Verwenden Sie die Upload-Funktion des Uploaders, um die Datei auf S3 zu streamen.
4. Behandeln Sie Fehler oder zeigen Sie Upload-Ergebnisse an.

Beispielcode:

import (
    "github.com/aws/aws-sdk-go/aws/session"
    "github.com/aws/aws-sdk-go/service/s3/s3manager"
)

func main() {
    // Create an S3 uploader with custom options
    uploader := s3manager.NewUploader(session.Must(session.NewSession()), func(u *s3manager.Uploader) {
        u.PartSize = 5 * 1024 * 1024 // 5MB part size
        u.Concurrency = 2           // 2 concurrent uploads
    })

    // Open the file for upload
    f, err := os.Open("file.txt")
    if err != nil {
        panic(err)
    }
    defer f.Close()

    // Stream file to S3
    result, err := uploader.Upload(&s3manager.UploadInput{
        Bucket: aws.String("my-bucket"),
        Key:    aws.String("file.txt"),
        Body:   f,
    })

    if err != nil {
        panic(err)
    }

    // Display uploaded file information
    fmt.Printf("File uploaded to: %s", result.Location)
}

Das obige ist der detaillierte Inhalt vonWie streame ich große Dateien mit Go nach AWS S3?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!