动态配置驱动的文件处理流水线需解耦逻辑与配置，通过注册stagefactory函数表实现类型安全的阶段实例化；配置用map[string]interface{}解析并校验，避免struct硬解导致启动失败；热替换时保持input channel开启、安全关闭output channel，并由chanreader切换数据流；input_buffer_size、worker_count等影响内存或并发模型的配置禁止动态修改，须重启进程。
动态配置驱动的文件处理流水线，核心在于把“处理逻辑”和“配置描述”解耦，而不是硬编码 stage 顺序或参数。Go 原生不提供 DSL 解析器，但用 map[string]interface{} + 反射或结构体映射就能实现轻量、可扩展、无需重启的配置热加载能力。
怎么让 pipeline 阶段由 YAML/JSON 配置决定
不能靠 switch stage.Name 硬匹配字符串——维护成本高、类型不安全、IDE 无法跳转。推荐做法是注册 stage 构造函数，再用配置名查表实例化：
- 定义统一接口：
type StageFactory func(config map[string]interface{}) (Stage, error) - 全局注册表：
var factories = make(map[string]StageFactory)，启动时调用factories["filter"] = NewFilterStage等 - 解析配置后，用
factories[config["type"].(string)](config)得到具体 stage 实例 - 配置示例中
"type": "json_parser"对应一个解析 JSON 行并提取字段的 stage，其config可含"field_path"或"default_value"
为什么直接 json.Unmarshal 到 struct 会卡住 pipeline 启动
常见错误是把整个配置文件 Unmarshal 到一个大 struct，其中某个字段（如 TimeoutSecs int）没在 YAML 中出现，导致该字段为 0 —— 而 stage 内部把它当成了 0 秒超时，context.WithTimeout 直接返回已取消的 ctx，后续所有 select 都立刻走 ctx.Done() 分支，pipeline 瞬间退出。
初始化并管理阿里云SDK Go 客户端，涵盖 sync.Once 单例、goroutine 安全、endpoint 与 region 配置、VPC 端点及调试。
- 必须对每个可选配置字段设合理默认值，或用指针类型（如
*int）判空 - 更稳妥的是用
map[string]interface{}先解，再逐个字段校验+转换，遇到缺失项可报明确错误（如"missing required field 'buffer_size' in stage 'batch'"） - 不要依赖
json.Number自动转 float64 —— 时间戳、ID 类整数字段会丢失精度；显式用strconv.Atoi或json.RawMessage延迟解析
配置变更后如何热替换正在运行的 stage
不是 kill 进程重载，而是让单个 stage goroutine 安全退出、新 stage 接管数据流。关键点在于：输入 channel 不可关闭（否则上游断流），输出 channel 必须由旧 stage 主动 close，新 stage 用新配置重建并接管下游。
- 每个 stage 封装成带
Reload(config map[string]interface{}) error方法的 struct - 主控 goroutine 监听配置文件 fsnotify 事件，触发
stage.Reload()；该方法应：1) 发送信号让当前 goroutine 停止读 input，2) 等待它处理完已接收数据并close(out)，3) 启动新 goroutine 并返回新out - 下游 stage 必须能容忍
out关闭后重新收到新 channel —— 即不能写死for v := range oldOut，而要封装成可切换的ChanReader类型，内部用select监听新旧 channel - 注意：热替换期间，上游仍在发数据，所以 input channel 必须保持 open，旧 stage 退出前需 drain 完缓冲区，否则数据丢失
哪些配置项绝对不能动态改，必须重启进程
涉及内存布局、并发模型或底层资源绑定的配置，改了会导致状态不一致或 panic。例如：
-
input_buffer_size：channel 缓冲大小在make(chan T, N)时确定，无法运行时扩容 -
worker_count：goroutine 数量变化需启停一组 worker，但已有任务可能正执行中，强行 stop 会丢数据或死锁 -
output_format（如从 JSON 切到 Protobuf）：下游 stage 的反序列化逻辑不兼容，必须整体 reload pipeline -
tls_config或database_url：连接池复用旧连接，新配置生效需新建连接池并等待旧连接自然关闭，中间存在窗口期
这些项一旦出现在配置更新事件里，应拒绝 reload 并记录告警，而不是静默忽略 —— 动态配置的价值在于灵活，但灵活性的边界必须清晰可见。
golang免费学习笔记（深入）：立即使用
在学习笔记中，你将探索golang的核心概念和高级技巧！
