Go를 사용하여 대규모 멀티파트/양식 데이터 파일을 효율적으로 AWS S3로 스트리밍하려면 어떻게 해야 합니까?

Go를 사용하여 AWS S3에 파일 업로드 스트리밍

대규모 멀티파트/양식 데이터 파일을 AWS S3에 직접 스트리밍하는 것은 데이터 업로드를 최소화하는 효율적인 방법입니다. 메모리 사용량 및 파일 디스크

솔루션

AWS SDK for Go의 업로드 관리자를 활용하여 파일을 S3에 직접 스트리밍합니다. 예는 다음과 같습니다.

package main

import (
    "fmt"
    "os"

    "github.com/aws/aws-sdk-go/aws"
    "github.com/aws/aws-sdk-go/aws/credentials"
    "github.com/aws/aws-sdk-go/aws/session"
    "github.com/aws/aws-sdk-go/service/s3/s3manager"
)

var (
    filename      = "file_name.zip"
    myBucket      = "myBucket"
    myKey         = "file_name.zip"
    accessKey     = ""
    accessSecret  = ""
)

func main() {
    var awsConfig *aws.Config
    if accessKey == "" || accessSecret == "" {
        awsConfig = &aws.Config{
            Region: aws.String("us-west-2"),
        }
    } else {
        awsConfig = &aws.Config{
            Region:      aws.String("us-west-2"),
            Credentials: credentials.NewStaticCredentials(accessKey, accessSecret, ""),
        }
    }

    sess := session.Must(session.NewSession(awsConfig))
    uploader := s3manager.NewUploader(sess, func(u *s3manager.Uploader) {
        u.PartSize = 5 * 1024 * 1024
        u.Concurrency = 2
    })

    f, err := os.Open(filename)
    if err != nil {
        fmt.Printf("failed to open file %q, %v", filename, err)
        return
    }
    defer f.Close()

    result, err := uploader.Upload(&s3manager.UploadInput{
        Bucket: aws.String(myBucket),
        Key:    aws.String(myKey),
        Body:   f,
    })

    if err != nil {
        fmt.Printf("failed to upload file, %v", err)
        return
    }

    fmt.Printf("file uploaded to, %s\n", result.Location)
}

사용자 정의된 매개변수가 있는 업로드 관리자를 활용하면 부분 크기, 동시성 수준 및 최대 업로드 부분 수를 구성하여 스트리밍 프로세스를 최적화할 수 있습니다.

위 내용은 Go를 사용하여 대규모 멀티파트/양식 데이터 파일을 효율적으로 AWS S3로 스트리밍하려면 어떻게 해야 합니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!