Go语言并发爬虫实战：用WaitGroup优雅解决死锁与任务同步问题-Golang-PHP中文网

Go语言并发爬虫实战：用WaitGroup优雅解决死锁与任务同步问题

本文详解go tour中web crawler习题的简洁可靠解法，聚焦如何用sync.waitgroup替代错误的channel关闭逻辑，避免死锁，确保所有goroutine完成后再安全退出；同时优化并发安全缓存设计。

本文详解go tour中web crawler习题的简洁可靠解法，聚焦如何用sync.waitgroup替代错误的channel关闭逻辑，避免死锁，确保所有goroutine完成后再安全退出；同时优化并发安全缓存设计。

在Go Tour的“Web Crawler”练习中，初学者常陷入一个典型陷阱：试图通过监听未关闭的无缓冲channel（如ress和errs）并依赖ok标志判断“任务结束”，结果导致主goroutine无限阻塞、子goroutine泄漏，最终触发deadlock。根本原因在于：channel的关闭必须由发送方显式完成，而goroutine的生命周期无法通过channel长度或读取状态准确推断。

正确的解法不是“何时关闭channel”，而是“如何精确跟踪所有并发任务是否完成”。sync.WaitGroup正是为此而生的标准工具——它不依赖共享状态或通道通信，而是以原子方式计数活跃goroutine，提供清晰、无竞态、零死锁的同步语义。

以下是一个精简、健壮、生产级可参考的实现：

package main

import (
    "fmt"
    "sync"
)

type Fetcher interface {
    Fetch(url string) (body string, urls []string, err error)
}

// SafeCache 使用 RWMutex 提升读多写少场景性能（比纯Mutex更高效）
type SafeCache struct {
    cache map[string]bool
    mux   sync.RWMutex // 读操作用RLock，写操作用Lock
}

func (c *SafeCache) Set(url string) {
    c.mux.Lock()
    c.cache[url] = true
    c.mux.Unlock()
}

func (c *SafeCache) Get(url string) bool {
    c.mux.RLock()
    defer c.mux.RUnlock()
    return c.cache[url]
}

var sc = SafeCache{cache: make(map[string]bool)}

// Crawl 是并发安全的递归爬取函数
func Crawl(url string, depth int, fetcher Fetcher, wg *sync.WaitGroup) {
    defer wg.Done() // ✅ 每个goroutine结束时必调用Done()

    if depth <p>✅ <strong>关键改进说明</strong>：</p><div class="aritcle_card flexRow artxards">
											<div class="artcardd flexRow">
												<a class="aritcle_card_img" rel="nofollow" href="/xiazai/skill1775" title="智能网页爬虫"><img
														src="https://img.php.cn/upload/skill/000/000/081/178851612318636.jpg" alt="智能网页爬虫" onerror="this.onerror='';this.src='/static/lhimages/moren/morentu.png'" ></a>
												<div class="aritcle_card_info flexColumn">
													<a rel="nofollow" href="/xiazai/skill1775" title="智能网页爬虫" class="overflowclass">智能网页爬虫</a>
													<p class="overflowclass">智能网页数据采集器，自动识别页面结构，批量抓取列表/表格/详情页数据，支持导出JSON/CSV/Excel，内置反爬策略适配。</p>
												</div>
												<a rel="nofollow" href="/xiazai/skill1775" title="智能网页爬虫" class="aritcle_card_btn flexRow flexcenter"><b></b><span>下载</span>
												</a>
											</div>
										</div>

WaitGroup驱动生命周期：wg.Add()在goroutine启动前调用，defer wg.Done()在函数末尾保证执行，wg.Wait()在main中同步等待全部完成——三者构成闭环，彻底消除对channel关闭时机的猜测。
RWMutex优化缓存：因Get()远多于Set()，使用RWMutex允许多个goroutine并发读取，仅写入时加独占锁，显著提升高并发吞吐。
无channel阻塞风险：移除了不可靠的for { select { ... } }循环，避免因channel未关闭导致的永久挂起。
错误处理内聚：错误直接打印而非发往channel，简化流程；若需集中错误收集，可配合带缓冲的error channel + wg协同关闭（但本题无需）。