迭代器组合是将异构数据源统一为惰性可遍历序列，并通过chain、zip、flat_map等操作符构建按需拉取流水线的核心手段，强调惰性、错误隔离与资源清理。
迭代器组合是把多个数据源抽象为统一可遍历序列，并通过函数式链式操作实现按需拉取、逐层转换的核心手段。它不预先加载全部数据，而是在每次调用 next()（或 for range）时动态获取下一个元素，天然适配异构、远程、流式或多格式数据源。
关键在于：将每个数据源封装为独立迭代器，再用组合操作符（如 zip、chain、filter_map、flat_map）连接它们，形成一条“拉取流水线”。
一、统一数据源为迭代器接口
不同数据源需暴露相同契约：一个能返回 T 类型元素的惰性序列。例如：
-
数据库查询 → 返回
iter.Seq[Product]（Go 1.23+）或Iterator（Java/Python） -
API 分页响应 → 封装成
func() (Product, bool)闭包，内部自动翻页 -
本地 CSV 文件 → 按行解析，每行生成一个
Product，延迟读取 -
Redis 缓存键列表 → 先
SCAN获取 key 流，再MGET批量拉取，包装为流式迭代器
✅ 示例（Go）：合并 MySQL 和 API 数据源
dbIter := LoadFromMySQL("SELECT id,name,price FROM products") // iter.Seq[Product] apiIter := FetchFromAPI("https://api.example.com/products") // iter.Seq[Product] merged := iter.Chain(dbIter, apiIter) // 单一迭代器，先遍历 DB，再遍历 API for p := range merged { fmt.Printf("%s: $%.2f\n", p.Name, p.Price) }
二、按需组合：常见组合模式与用途
Chain（顺序拼接）
适用于主备切换、冷热数据分层：先查缓存迭代器，若未命中再查数据库迭代器（需配合find_first类逻辑）。Zip（并行对齐）
适合多源同维度数据比对：比如同时拉取「订单表」和「物流状态 API」，按订单 ID 两两配对。注意：任一源耗尽即停止。FlatMap（一对多展开）
典型用于关联查询：从用户迭代器出发，对每个用户FlatMap调用其订单 API，把每个用户展开为多个订单项。FilterMap（带条件过滤+转换）
实现轻量 ETL：跳过空记录、转换字段类型、丢弃测试数据等，都在拉取途中完成，不占内存。TakeWhile/Skip（分页与限流）
配合前端分页请求：iter.TakeWhile(it, func(p Product) bool { return p.Price ，避免全量加载。
三、保障一致性与健壮性
-
错误隔离：单个数据源失败不应中断整个流水线。可用
Result包装元素（Rust/Go 错误处理风格），或在组合前加.recover()类操作符（如 Apache Calcite 的TRY_CAST思路）。 -
资源自动清理：迭代器闭包内打开的 HTTP 连接、DB 游标、文件句柄，应在
yield返回false或defer中释放（Go 推荐用iter.Seq+defer；Python 用contextlib.closing）。 - 并发安全：若需多 goroutine 同时消费同一迭代器（如扇出处理），应创建新实例而非共享——避免状态竞争。
四、进阶：与查询引擎协同（如 Apache Calcite）
当多数据源语义复杂（跨库 JOIN、聚合、排序），纯迭代器组合难以表达完整逻辑。此时可：
- 将各数据源注册为 Calcite 的
Table（通过 JDBC、MongoAdapter、CSVAdapter 等） - 用标准 SQL 描述意图（如
SELECT p.name, SUM(o.amount) FROM products p JOIN orders o ON p.id = o.pid GROUP BY p.name） - Calcite 自动翻译为各源原生查询 + 客户端合并迭代器（即
MergeIterator）
→ 实质是“SQL 声明式 + 迭代器执行式”的混合范式，兼顾表达力与执行效率。
不复杂但容易忽略：真正的无缝拉取，不在语法多酷炫，而在每个环节都保持惰性、可中断、可恢复。
