直接用 sync.WaitGroup 无法表达 DAG 依赖关系,因其仅支持统一等待所有任务完成,不支持节点间顺序约束、前置条件判断及动态就绪感知;DAG 要求显式建模有向边、跟踪未完成前置数,并通过 channel 信号与错误传播实现短路执行与失败中断。

为什么直接用 sync.WaitGroup 无法表达 DAG 依赖关系
因为 WaitGroup 只能等一组 goroutine 完成,不关心执行顺序或前置条件。DAG 要求:A 必须在 B 之前完成,且 B 可能依赖多个 A、C;而 WaitGroup 没有“节点就绪判断”能力,也无法动态感知哪些依赖已满足。
典型错误是把所有任务塞进 goroutine 后统一 Wait(),结果并行乱序、状态竞争、甚至死锁——尤其当某个任务失败却未通知下游时,整个 DAG 卡住。
- 依赖关系必须显式建模为有向边(如
map[string][]string表示"B"→["A", "C"]) - 每个节点需记录“尚待完成的前置数”,而非只靠是否启动
- 失败必须中断下游调度,否则会执行无效任务
用 chan struct{} 做节点就绪信号比 sync.Mutex 更轻量
每个任务完成后,向其所有后继节点的“就绪 channel”发送一次 struct{}。后继节点用 select 等待所有前置 channel 都收到信号,再真正执行。
比起用互斥锁 + 计数器轮询,channel 方案天然支持阻塞等待、无忙等、可取消,且 Go runtime 对空结构体 channel 的内存开销极低。
- 每个节点维护一个
readyChans []chan struct{},对应它的所有前驱节点 - 前置任务成功时,向自己的
doneCh chan struct{}发送,所有监听该 channel 的后继节点都会收到 - 若某前置失败,对应 channel 不发信号,后继永远阻塞——所以必须配合超时或错误广播机制
如何让 DAG 支持失败传播和部分重试
单纯靠 channel 就绪无法区分“完成”和“失败”。需要给每个节点配一个 resultCh chan error,下游通过 select 同时监听就绪信号与错误信号。
使用 uber-go/dig 在 Golang 中实现依赖注入——基于反射容器,提供 Provide/Invoke、dig.In/dig.Out 参数与结果对象,支持命名依赖等
关键点在于:只要任一前置返回非 nil error,当前节点应立即退出,不再等待其余前置——这符合 DAG 的短路语义。
- 前置节点执行完后,向自己的
doneCh和errCh同时发送(errCh发送nil表示成功) - 当前节点用
for len(received) 循环接收,每次select包含所有前置的errCh分支 - 重试只需对单个节点重启:清空其
doneCh、新建errCh,重新注册到依赖图中即可
toposort 不是必须的,但无环检测不能省
很多人一上来就写拓扑排序,试图生成执行序列。其实 DAG 调度器的核心是并发就绪驱动,不是线性排序。强行 toposort 反而丧失并行性,还引入额外的图遍历开销。
真正不能跳过的是环检测——否则调度器会在循环依赖里无限等待。用 DFS 或 Kahn 算法做一次初始化检查足够,无需每次调度都跑。
- 检测到环时,立刻返回明确错误,例如
"cyclic dependency detected: A → B → A" - 环检测结果可缓存,只要依赖图不变,后续调度复用即可
- 运行时动态加边?那就得每次变更后重新检测,但生产环境极少这么用
实际最难处理的是跨节点的状态共享和上下文传递——比如上游任务输出要作为下游输入,又不想用全局 map 或 channel 堆砌。这事关设计粒度,往往比调度逻辑本身更花时间对齐。










