Go 语言中使用前缀匹配批量删除 S3 对象（支持通配符语义）-Golang-PHP中文网

aws s3 本身不支持通配符删除，但可通过 listobjectsv2 + 分批 deleteobjects 实现“x/y*”这类前缀匹配的批量删除；本文详解 go sdk 中的安全、高效实现方案，并提供可直接运行的代码示例。

aws s3 本身不支持通配符删除，但可通过 listobjectsv2 + 分批 deleteobjects 实现“x/y*”这类前缀匹配的批量删除；本文详解 go sdk 中的安全、高效实现方案，并提供可直接运行的代码示例。

在 Amazon S3 中，不存在真正的文件夹结构，所有对象均以扁平键（Key）形式存储，路径分隔符 / 仅作命名约定。因此，像 "x/y*" 这样的通配符无法被 DeleteObjects API 原生识别——其 Objects[].Key 字段只接受精确字符串，不支持正则或通配符匹配。

要实现“删除指定前缀下所有对象”的语义（即模拟 x/y*），标准且推荐的做法是：

列举（List）所有匹配前缀的对象（使用 ListObjectsV2Input.Prefix）；
分批构造 DeleteObjectsInput 请求（每批最多 1000 个对象）；
调用 DeleteObjects 批量删除；
处理分页（Pagination），确保遍历全部匹配项（尤其当对象数 > 1000 时）。

以下是基于 AWS SDK for Go v2 的完整、生产就绪实现（v1 SDK 已不推荐新项目使用）：

使用Go语言搭建家庭相册系统-相关课件

下载

package main

import (
    "context"
    "fmt"
    "log"

    "github.com/aws/aws-sdk-go-v2/aws"
    "github.com/aws/aws-sdk-go-v2/config"
    "github.com/aws/aws-sdk-go-v2/service/s3"
    "github.com/aws/aws-sdk-go-v2/service/s3/types"
)

// DeleteObjectsByPrefix 删除指定 Bucket 中所有以 prefix 开头的对象（模拟通配符语义）
func DeleteObjectsByPrefix(ctx context.Context, client *s3.Client, bucket, prefix string) error {
    var keysToDelete []string

    // Step 1: 列举所有匹配 prefix 的对象（支持自动分页）
    paginator := s3.NewListObjectsV2Paginator(client, &s3.ListObjectsV2Input{
        Bucket: aws.String(bucket),
        Prefix: aws.String(prefix),
    })

    for paginator.HasMorePages() {
        page, err := paginator.NextPage(ctx)
        if err != nil {
            return fmt.Errorf("failed to list objects: %w", err)
        }
        for _, obj := range page.Contents {
            keysToDelete = append(keysToDelete, aws.ToString(obj.Key))
        }
    }

    if len(keysToDelete) == 0 {
        log.Printf("No objects found with prefix %q in bucket %q", prefix, bucket)
        return nil
    }

    // Step 2 & 3: 分批删除（每批 ≤ 1000 个）
    const batchSize = 1000
    for i := 0; i  len(keysToDelete) {
            end = len(keysToDelete)
        }

        batch := keysToDelete[i:end]
        objectIdentifiers := make([]types.ObjectIdentifier, 0, len(batch))
        for _, key := range batch {
            objectIdentifiers = append(objectIdentifiers, types.ObjectIdentifier{Key: aws.String(key)})
        }

        _, err := client.DeleteObjects(ctx, &s3.DeleteObjectsInput{
            Bucket: aws.String(bucket),
            Delete: &types.Delete{
                Objects: objectIdentifiers,
                Quiet:   aws.Bool(true), // 减少响应体积（仅返回失败项）
            },
        })
        if err != nil {
            return fmt.Errorf("failed to delete batch starting at %d: %w", i, err)
        }

        log.Printf("Deleted %d objects (batch %d–%d of %d)", len(batch), i+1, end, len(keysToDelete))
    }

    return nil
}

// 使用示例
func main() {
    ctx := context.Background()

    cfg, err := config.LoadDefaultConfig(ctx)
    if err != nil {
        log.Fatalf("failed to load config: %v", err)
    }

    client := s3.NewFromConfig(cfg)

    // 删除所有以 "x/y/" 开头的对象（等效于 "x/y*"）
    if err := DeleteObjectsByPrefix(ctx, client, "my-bucket", "x/y/"); err != nil {
        log.Fatalf("error deleting objects: %v", err)
    }
    fmt.Println("✅ All matching objects deleted successfully.")
}

✅ 关键注意事项：

前缀非正则表达式：Prefix = "x/y/" 会匹配 "x/y/file.jpg"、"x/y/sub/z.txt"，但不会匹配 "x/yz/log.txt" —— 它是严格左前缀匹配，不是通配符引擎。
性能与成本：ListObjectsV2 和 DeleteObjects 均按请求计费；大量对象建议在非高峰时段执行，并添加重试逻辑（SDK 默认含指数退避）。
权限要求：IAM 策略需同时授予 s3:ListBucket（含 Prefix 条件）和 s3:DeleteObject 权限。
版本控制：上述代码仅删除最新版本对象；如需删除所有版本（含删除标记），需改用 ListObjectVersions + DeleteObjects 并设置 VersionId。
错误处理增强建议：生产环境应检查 DeleteObjectsOutput.Errors 字段，对失败项进行重试或告警。