像专业人士一样使用 AWS SStream 在 Go 中处理大文件上传

在上一篇文章中，我们使用 Go 和本地存储以及用于基于云的存储的 Amazon S3 构建了文件上传服务。但是，如果您需要处理大文件（例如数千兆字节的视频文件或数据集）怎么办？ ？这就是事情变得棘手的地方。您不希望您的服务器陷入困境或内存不足。

在这篇文章中，我们将探索如何通过 AWS S3 使用流和分块来高效处理大文件上传。这样，即使是最大的文件也不会让您的应用程序瘫痪。

以下是我们将介绍的内容：

1. 为什么处理大文件需要特别小心。
2. 以最少的内存使用量将大文件直接流式传输到 S3。
3. 对大文件进行分块并在 S3 上重新组装它们。
4. 生产环境中大文件上传的最佳实践。

准备好将这些大文件飞入云端了吗？让我们深入了解一下！ ?️

---

第 1 步：为什么处理大文件有所不同

在处理大文件上传时，您最不想看到的就是将整个文件加载到内存中。对于较小的文件，这没什么大不了的，但对于较大的文件，您很快就会达到服务器内存的限制，特别是在处理多个同时上传时。

流和分块是让您高效处理这些大文件的关键技术。

• 流式传输：在服务器接收文件时将文件上传到 S3，而不是将整个文件加载到内存中。
• 分块：将大文件分成较小的部分（块）并单独上传每个块。这对于恢复失败的上传或并行上传特别有用。

---

第 2 步：将大文件直接流式传输到 S3

我们将使用 AWS SDK 将文件从用户的上传请求直接流式传输到 S3，从而最大限度地减少服务器上所需的内存量。

更新上传处理程序

我们可以使用 streams 实时发送文件，而不是在将整个文件上传到 S3 之前将其存储在内存或磁盘中。让我们修改现有的 fileUploadHandler 以更有效地处理大文件。

import (
    "fmt"
    "io"
    "net/http"
    "github.com/aws/aws-sdk-go/aws"
    "github.com/aws/aws-sdk-go/aws/session"
    "github.com/aws/aws-sdk-go/service/s3"
)

func fileUploadHandler(w http.ResponseWriter, r *http.Request) {
    // Limit the request size (e.g., 10GB max size)
    r.Body = http.MaxBytesReader(w, r.Body, 10<<30)

    // Parse the multipart form data
    err := r.ParseMultipartForm(10 << 20)
    if err != nil {
        http.Error(w, "File too large", http.StatusRequestEntityTooLarge)
        return
    }

    // Retrieve the file from the form
    file, handler, err := r.FormFile("file")
    if err != nil {
        http.Error(w, "Error retrieving file", http.StatusBadRequest)
        return
    }
    defer file.Close()

    // Set up AWS session
    sess, err := session.NewSession(&aws.Config{
        Region: aws.String("us-west-1"),
    })
    if err != nil {
        http.Error(w, "Error connecting to AWS", http.StatusInternalServerError)
        return
    }

    // Create the S3 client
    s3Client := s3.New(sess)

    // Stream the file directly to S3
    _, err = s3Client.PutObject(&s3.PutObjectInput{
        Bucket: aws.String("your-bucket-name"),
        Key:    aws.String(handler.Filename),
        Body:   file, // Stream the file directly from the request
        ACL:    aws.String("public-read"),
    })
    if err != nil {
        http.Error(w, "Error uploading file to S3", http.StatusInternalServerError)
        return
    }

    fmt.Fprintf(w, "File uploaded successfully to S3!")
}

在这种方法中，文件直接从请求流式传输到 S3，因此您不会将整个文件存储在内存中，这对于大文件来说是救星！

---

第 3 步：对大文件进行分块

如果您想更进一步，您可以在客户端将文件分成块，然后以较小的片段上传。这对于处理不稳定的连接或大量文件特别有用，因为从头开始重新上传会很痛苦。

客户端分块示例

在客户端，将文件分成更小的块并单独上传每个块。这是使用 JavaScript 的示例：

import (
    "fmt"
    "io"
    "net/http"
    "github.com/aws/aws-sdk-go/aws"
    "github.com/aws/aws-sdk-go/aws/session"
    "github.com/aws/aws-sdk-go/service/s3"
)

func fileUploadHandler(w http.ResponseWriter, r *http.Request) {
    // Limit the request size (e.g., 10GB max size)
    r.Body = http.MaxBytesReader(w, r.Body, 10<<30)

    // Parse the multipart form data
    err := r.ParseMultipartForm(10 << 20)
    if err != nil {
        http.Error(w, "File too large", http.StatusRequestEntityTooLarge)
        return
    }

    // Retrieve the file from the form
    file, handler, err := r.FormFile("file")
    if err != nil {
        http.Error(w, "Error retrieving file", http.StatusBadRequest)
        return
    }
    defer file.Close()

    // Set up AWS session
    sess, err := session.NewSession(&aws.Config{
        Region: aws.String("us-west-1"),
    })
    if err != nil {
        http.Error(w, "Error connecting to AWS", http.StatusInternalServerError)
        return
    }

    // Create the S3 client
    s3Client := s3.New(sess)

    // Stream the file directly to S3
    _, err = s3Client.PutObject(&s3.PutObjectInput{
        Bucket: aws.String("your-bucket-name"),
        Key:    aws.String(handler.Filename),
        Body:   file, // Stream the file directly from the request
        ACL:    aws.String("public-read"),
    })
    if err != nil {
        http.Error(w, "Error uploading file to S3", http.StatusInternalServerError)
        return
    }

    fmt.Fprintf(w, "File uploaded successfully to S3!")
}

块的服务器端处理

在服务器端，您可以接收这些块并将它们附加到存储在S3上的文件：

async function uploadFileInChunks(file) {
  const chunkSize = 5 * 1024 * 1024; // 5MB per chunk
  const totalChunks = Math.ceil(file.size / chunkSize);

  for (let i = 0; i < totalChunks; i++) {
    const start = i * chunkSize;
    const end = Math.min(file.size, start + chunkSize);
    const chunk = file.slice(start, end);

    const formData = new FormData();
    formData.append("chunk", chunk);
    formData.append("chunkIndex", i);
    formData.append("filename", file.name);

    await fetch("/upload-chunk", {
      method: "POST",
      body: formData,
    });
  }
}

此方法允许您独立上传文件块并将它们合并到云端。它非常适合处理可靠性至关重要的大型上传。

---

第 4 步：大文件上传的最佳实践

1. 限制请求大小：始终设置合理的最大请求大小（MaxBytesReader），以防止用户压垮您的服务器。

2. S3 分段上传：AWS S3 支持分段上传，这非常适合大文件。您可以并行上传部分，甚至可以恢复失败的上传。

3. 安全文件上传：确保验证文件类型并使用安全连接 (HTTPS) 进行文件上传。清理文件名以防止目录遍历攻击。

4. 进度指示器：如果您要对文件进行分块，请实现进度指示器以获得更好的用户体验，尤其是对于大文件。

---

总结

处理大文件上传并不一定令人头痛。通过将流和分块技术与 Go 和 S3 结合使用，您甚至可以有效地管理最大的文件，而不会占用服务器的内存。无论您是构建文件存储服务、视频平台还是媒体密集型应用程序，您现在都可以像专业人士一样处理大量上传。 ？

您在项目中实现过大文件上传吗？在评论中留下您的经验或技巧，让我们继续对话！ ？

以上是像专业人士一样使用 AWS SStream 在 Go 中处理大文件上传的详细内容。更多信息请关注PHP中文网其他相关文章！