使用goroutine与channel结合同步机制可有效防止重复抓取。通过map+sync.mutex实现简单去重，适合中小规模；高并发下推荐sync.map提升性能；更优方案是用独立goroutine通过channel统一处理去重与任务分发，避免竞争；大规模场景可引入redis或本地数据库实现持久化去重，保障系统稳定性与可恢复性。
在使用 Golang 编写并发爬虫时，防止重复抓取是关键问题之一。多个 Goroutine 同时工作，若不加以控制，很容易对同一 URL 多次请求，浪费资源甚至触发网站反爬机制。解决这个问题的核心在于利用 Goroutine 与 Channel 的协作机制，结合共享状态的同步访问控制。
使用 map + sync.Mutex 记录已抓取 URL
最直接的方式是维护一个全局的 map 来记录已经抓取过的 URL，配合 sync.Mutex 保证并发安全。
每个 Goroutine 在发起请求前先检查该 URL 是否已在集合中，若不存在则标记并开始抓取。
示例代码：
var (
visited = make(map[string]bool)
mu sync.Mutex
)
func isVisited(url string) bool {
mu.Lock()
defer mu.Unlock()
if visited[url] {
return true
}
visited[url] = true
return false
}
在爬取任务中调用 isVisited(url) 判断是否跳过。这种方式简单有效，适合中小规模任务。
使用 sync.Map 替代普通 map 提升性能
当并发量较高时，sync.Mutex 可能成为瓶颈。Go 提供了 sync.Map，专为高并发读写设计。
它内部采用分段锁机制，适用于键值对频繁读写的场景。
改写方式：
var visited sync.Map
func isVisited(url string) bool {
_, loaded := visited.LoadOrStore(url, true)
return loaded
}
每调用一次 LoadOrStore，如果 key 不存在则存入并返回 false，否则返回 true。这正是我们判断“是否已访问”的逻辑。
Go语言（Golang）1.26.0版本提供 Go 官方 Windows amd64 MSI 安装包下载入口，版本号 1.26.0，可用于旧项目维护、兼容性测试和指定版本开发环境配置。
通过 Channel 控制任务分发与去重
更优雅的做法是将 URL 去重和任务调度解耦。使用一个独立的 Goroutine 管理待抓取队列，所有任务通过 Channel 进入，由该协程统一判断是否重复。
这样避免了多 Goroutine 对共享数据的竞争。
结构示意：
- 一个 worker pool 从任务 Channel 接收 URL 并抓取
- 一个 dedup goroutine 负责接收原始链接，查重后推送到任务 Channel
- 所有新发现的链接重新送回 dedup 模块处理
这种模式下，去重逻辑集中在一个 Goroutine 中，无需加锁，仅靠 Channel 通信即可实现线程安全。
结合缓存与持久化应对大规模爬取
对于长期运行或大规模爬虫，内存中的 map 或 sync.Map 可能占用过高，且程序崩溃后无法恢复状态。
此时可引入外部存储：
- 使用 Redis 的 SET 或 Redis Bloom Filter 实现高效去重
- 本地使用 LevelDB / BadgerDB 存储已访问 URL
在 Go 中可通过 http.Client 配合第三方库（如 go-redis）异步查询，将去重能力扩展到分布式环境。
基本上就这些。Golang 的 Goroutine 与 Channel 天然适合构建并发爬虫，只要合理设计去重策略——无论是内存级 sync.Map、Channel 协作，还是外接存储——都能有效防止重复抓取，提升效率与稳定性。
golang免费学习笔记（深入）：立即使用
在学习笔记中，你将探索golang的核心概念和高级技巧！
