Golang 使用 Channel 管理并发文件处理队列-Golang-PHP中文网

go的chan不是队列而是通信管道，len(ch)仅为瞬时采样、不可靠，for range会阻塞至close且不可重入，误用close或重复操作将panic；它缺乏peek、isempty等队列能力，需用原子计数器替代len，任务分发应结合缓冲chan与waitgroup实现流控。

golang 使用 channel 管理并发文件处理队列

直接用 chan 当队列用，处理并发文件时大概率会出问题——它不是队列，是通信管道；len(ch) 不可靠，for range 会消费并关闭通道，close() 时机错一次就 panic。

为什么不能把 `chan` 当成队列来查长度或遍历

Go 的 chan 设计目标是“通信即同步”，不是“存储即队列”。你看到的 len(ch) 只是缓冲区当前未被接收的元素个数，这个值在多 goroutine 下瞬息万变，无法用于判断“还有多少任务没处理完”。

for v := range ch 会一直阻塞直到 ch 被 close()，且一旦退出就不能重入；如果误在 worker 中多次调用，或提前 close，就会 panic: “send on closed channel” 或 “receive from closed channel”
没有 Peek()、没有安全的 IsEmpty()、不支持动态扩容——这些是队列的基本能力，chan 全都不提供
如果你真需要知道积压任务数，得靠外部计数器 + sync.AtomicInt64，而不是依赖 len(ch)

用 `chan` + `sync.WaitGroup` 做真实可用的任务分发

这不是模拟队列，而是利用 chan 的 FIFO 和背压特性做流控。关键在于：生产者发完必须 close()，worker 必须用 for range 消费到底，主 goroutine 用 WaitGroup 等 worker 退出后再收尾。

任务 channel 要带缓冲，比如 make(chan FileTask, 100)，防止生产者一上来就被阻塞
worker 数量要固定（如 4 或 8），别用 runtime.NumCPU() 硬套——I/O 密集型任务通常 2–4 个就够了
每个 worker 必须用匿名函数捕获循环变量，否则所有 goroutine 可能读到同一个 filename
close(tasks) 必须在所有 tasks 完成后、且仅由生产者调用一次

示例片段：

Golang Spf13 Viper

Go 配置库，使用 spf13/viper — 分层优先级（flag > env >file > KV > default），提供 BindPFlag/BindPFlags、SetEnvPrefix + SetEnvKeyReplace 等功能。

下载

tasks := make(chan FileTask, 100)
var wg sync.WaitGroup
for i := 0; i <h3>需要结果反馈？加一个 <code>result chan</code>，别复用任务 channel</h3><p>单向任务 channel 只负责分发，没法回传状态。如果要统计成功数、失败原因、耗时，就得另开一个 <code>result chan TaskResult</code>，让 worker 处理完后发结果过去。</p>

TaskResult 至少包含 ID、Err error、Duration time.Duration
主 goroutine 启动一个 goroutine 专门收结果，避免阻塞 worker；可以用 for i := 0; i 等齐
不要在 worker 里对 result 做阻塞发送——万一主 goroutine 没及时收，整个 worker 就卡住；加缓冲，比如 make(chan TaskResult, len(files))
如果某些任务可能 panic，worker 内要加 defer func() { recover() }()，否则整个 goroutine 退出，结果 channel 就收不全

文件操作本身的并发陷阱比 channel 更危险

goroutine 是并发的，但文件系统不是线程安全的抽象层。多个 goroutine 同时打开、读写同一路径，哪怕只是 os.Stat + os.Open 组合，也可能因文件被外部删除/重命名而 panic 或读到脏数据。

确保每个 goroutine 处理的是**完全独立的文件路径**；不要共享 *os.File 实例
避免在多个 goroutine 中反复 os.Stat 同一目录——用一次 filepath.WalkDir 预加载全量路径列表再分发
大文件分块处理时，别用 io.Copy 直接怼满内存；改用 io.CopyN + 分段 buffer := make([]byte, 64*1024)
写文件时注意权限和原子性：先写临时文件，再 os.Rename 覆盖原文件，避免中间态损坏