메모리와 디스크 사용량을 최소화하면서 대용량 파일을 AWS S3로 스트리밍하는 방법은 무엇입니까?

최소 메모리 및 파일 디스크 공간으로 AWS S3에 스트리밍 파일 업로드

문제: 메모리 및 파일 디스크 사용량을 최소화하면서 대규모 멀티파트/양식 데이터 파일을 AWS S3에 직접 업로드합니다.

해결책: 다음 단계에 따라 AWS S3 업로더를 활용하십시오.

1. 필요에 따라 부분 크기, 동시성, 최대 업로드 부분을 포함한 맞춤형 구성으로 업로더를 만듭니다.
2. 업로드할 파일을 열고 이를 업로더의 입력으로 전달합니다.
3. 업로더를 사용하여 파일 업로드 프로세스를 시작합니다.
4. 업로드 결과를 처리하고 진행 상황을 모니터링합니다.

예제 코드:

import (
    "fmt"
    "os"

    "github.com/aws/aws-sdk-go/aws"
    "github.com/aws/aws-sdk-go/aws/credentials"
    "github.com/aws/aws-sdk-go/aws/session"
    "github.com/aws/aws-sdk-go/service/s3/s3manager"
)

// Configure Amazon S3 credentials and connection
var accessKey = ""
var accessSecret = ""

func main() {
    // Determine if your AWS credentials are configured globally
    var awsConfig *aws.Config
    if accessKey == "" || accessSecret == "" {
        // No credentials provided, load the default credentials
        awsConfig = &aws.Config{
            Region: aws.String("us-west-2"),
        }
    } else {
        // Static credentials provided
        awsConfig = &aws.Config{
            Region:      aws.String("us-west-2"),
            Credentials: credentials.NewStaticCredentials(accessKey, accessSecret, ""),
        }
    }

    // Create an AWS session with the configured credentials
    sess := session.Must(session.NewSession(awsConfig))

    // Create an uploader with customized configuration
    uploader := s3manager.NewUploader(sess, func(u *s3manager.Uploader) {
        u.PartSize = 5 * 1024 * 1024 // Set the part size to 5MB
        u.Concurrency = 2           // Set the concurrency to 2
    })

    // Open the file to be uploaded
    f, err := os.Open("file_name.zip")
    if err != nil {
        fmt.Printf("Failed to open file: %v", err)
        return
    }
    defer f.Close()

    // Upload the file to S3
    result, err := uploader.Upload(&s3manager.UploadInput{
        Bucket: aws.String("myBucket"),
        Key:    aws.String("file_name.zip"),
        Body:   f,
    })
    if err != nil {
        fmt.Printf("Failed to upload file: %v", err)
        return
    }
    fmt.Printf("File uploaded to: %s", result.Location)
}

S3 업로더를 활용하고 파일을 스트리밍하면 업로드 프로세스 중 메모리와 파일 디스크 사용량을 최소화하여 대용량 파일을 효율적으로 처리할 수 있습니다.

위 내용은 메모리와 디스크 사용량을 최소화하면서 대용량 파일을 AWS S3로 스트리밍하는 방법은 무엇입니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!