本文介绍在 Go 语言中向输出文件写入邮箱数据时，如何高效、安全地避免重复写入——通过内存去重（map[string]struct{}）结合预检查机制，而非反复读取文件，兼顾性能与正确性。
本文介绍在 go 语言中向输出文件写入邮箱数据时，如何高效、安全地避免重复写入——通过内存去重（map[string]struct{}）结合预检查机制，兼顾性能与正确性。
在处理清洗后的邮箱数据时，重复写入不仅浪费磁盘空间，还可能破坏下游系统的数据一致性。原始代码每次仅做格式校验，却未对已写入内容进行去重判断。最直接的误区是“每次写入前重新读取整个输出文件逐行比对”——这会导致时间复杂度飙升（O(n²)），且存在竞态风险（尤其多进程/多 goroutine 场景）。
✅ 推荐方案：内存级去重 + 单次写入保障
使用 map[string]struct{} 作为轻量集合记录已写入邮箱（struct{} 零内存开销），在写入前统一校验：
// 初始化去重集合
seen := make(map[string]struct{})
scanner := bufio.NewScanner(r)
writer := bufio.NewWriter(w)
defer writer.Flush() // 确保最终刷新
for scanner.Scan() {
email := strings.TrimSpace(scanner.Text()) // 先去首尾空格
// 第一次校验（原始格式）
if !correctEmail.MatchString(email) {
// 清洗：移除所有空格 + 转小写（邮箱域名不区分大小写，本地部分通常也不建议区分）
cleaned := strings.ToLower(strings.ReplaceAll(email, " ", ""))
if !correctEmail.MatchString(cleaned) {
continue // 两次校验均失败，跳过
}
email = cleaned
}
// 关键：去重检查（大小写归一化后判断）
if _, exists := seen[email]; exists {
continue // 已存在，跳过写入
}
seen[email] = struct{}{} // 记录已见
// 写入标准化邮箱（含换行）
if _, err := writer.WriteString(email + "\n"); err != nil {
return fmt.Errorf("write failed: %w", err)
}
}
if err := scanner.Err(); err != nil {
return fmt.Errorf("scan error: %w", err)
}
⚠️ 注意事项：
- 大小写敏感性：邮箱的本地部分（@前）理论上可区分大小写，但绝大多数服务商（如 Gmail）实际忽略；为兼容性，建议统一转小写后再去重。若业务强依赖大小写，请明确规范并评估风险。
- 内存限制：该方案将所有唯一邮箱暂存内存。若输入规模超百MB，需改用外部排序+流式合并，或借助 SQLite 临时表。
- 原子性与持久化：本方案不保证写入过程的原子性（如程序崩溃可能导致部分写入）。如需强一致性，可先写入临时文件，校验无误后再 os.Rename 替换原文件。
- 正则校验局限性：correctEmail.MatchString 仅作基础过滤，无法 100% 符合 RFC 5322；生产环境建议结合 mail.ParseAddress 或专业库（如 github.com/go-playground/validator/v10）做深度验证。
总结：去重应在写入前完成，优先利用内存哈希表实现 O(1) 查询，避免 I/O 密集型文件扫描；同时确保清洗逻辑（空格、大小写）与去重逻辑严格一致，才能真正杜绝重复。
