本文详解如何使用 python 的 csv 模块正确将 s3 对象元数据批量写入 csv 文件，解决因反复打开追加模式（"a"）导致的表头重复、数据冗余问题，并提供一次性写入+自动头行管理的健壮方案。
本文详解如何使用 python 的 csv 模块正确将 s3 对象元数据批量写入 csv 文件，解决因反复打开追加模式（"a"）导致的表头重复、数据冗余问题，并提供一次性写入+自动头行管理的健壮方案。
在处理 AWS S3 中批量对象元数据导出到 CSV 的场景时，一个常见但极易被忽视的错误是：在循环内反复以追加模式（"a"）打开文件，并每次写入表头和一行数据。这正是您遇到重复内容的根本原因——每次 with open("my_file.csv", "a") 都会将 "account_id;arn" 和当前记录追加到底部，导致表头随每条记录重复出现，且历史运行结果持续累积。
正确的做法是分离文件初始化与数据写入逻辑：仅在开始时一次性创建文件并写入表头，随后在循环中只追加数据行。推荐使用 csv.DictWriter，它能自动处理字段顺序、避免手动维护列表索引，并通过 writeheader() 确保表头仅出现一次。
以下是优化后的完整示例代码：
import csv
import boto3
# 示例：假设 my_bucket 已正确定义（如通过 boto3.resource('s3').Bucket('your-bucket-name')）
# for objects in my_bucket.objects.filter(Prefix="folderpath"):
# ✅ 正确方式：单次打开，写入表头，再逐行写入数据
with open("my_file.csv", "w", newline="", encoding="utf-8") as csvfile:
fieldnames = ["account_id", "arn"]
writer = csv.DictWriter(csvfile, fieldnames=fieldnames, delimiter=";", quoting=csv.QUOTE_MINIMAL)
# 写入表头（仅一次）
writer.writeheader()
# 循环遍历 S3 对象，逐行写入
for obj in my_bucket.objects.filter(Prefix="folderpath"):
try:
key = obj.key
# 注意：body 是 bytes 类型，若需字符串请解码（如 body.decode('utf-8')），否则可能写入二进制乱码
body = obj.get()["Body"].read()
# 若 body 为二进制内容（如文件原始字节），建议转为 Base64 或仅记录大小/摘要以避免 CSV 格式破坏
# 这里按原始需求保留 raw bytes —— 实际使用中请根据业务调整
writer.writerow({"account_id": key, "arn": body})
except Exception as e:
print(f"跳过对象 {obj.key}，读取失败：{e}")
continue
? 关键注意事项：
- 使用 "w" 模式（而非 "a"）确保每次运行脚本都生成干净的新文件，彻底规避历史数据叠加；若需增量追加，请另行设计逻辑（如先读取已有内容去重，或用数据库替代 CSV）。
- 必须传入 newline="" 参数给 open()，否则在 Windows 系统下 csv.writer 可能产生额外空行。
- encoding="utf-8" 显式声明编码，防止中文或特殊字符乱码。
- quoting=csv.QUOTE_MINIMAL 可安全处理含分号、换行符等特殊字符的字段值。
- 对 obj.get()["Body"].read() 的异常捕获至关重要——S3 对象可能被删除、权限不足或内容为空，未捕获异常会导致整个写入中断。
- 若 body 是大型二进制对象（如图片、视频），直接写入 CSV 既低效又不实用；建议仅写入 key、size、last_modified 等元数据，或存储至另一位置后写入路径/URL。
总结：CSV 写入不是“循环里打开→写→关闭”的简单叠加，而是结构化的一次性初始化 + 流式填充过程。掌握 csv.DictWriter 与文件打开模式的协同逻辑，是构建可维护、可复现数据导出流程的第一步。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
