不能直接用 io.pipe 做流式文本分析，因为其 reader 和 writer 共享缓冲区，下游消费慢会导致写端阻塞、整条管道卡死；正确做法是用 chan string 或 chan []byte 配合 goroutine 解耦读与处理逻辑，并避免在管道 goroutine 中执行耗时操作。
为什么不能直接用 io.Pipe 做流式文本分析？
因为 io.Pipe 的两端（Reader 和 Writer）共用一个缓冲区，一旦写端阻塞（比如下游消费太慢），整个管道就卡住，根本没法实现“边读边分析”的流式行为。真实场景里，你往往需要上游持续读文件、解析行、过滤关键词，下游同步消费结果——这时候必须解耦读和处理逻辑。
- 正确做法是用
chan string或chan []byte作为中间通道，配合goroutine显式控制生产/消费节奏 - 避免在管道 goroutine 里做耗时操作（如正则匹配、JSON 解析），否则会拖慢整个流水线
- 如果输入源是大文件，优先用
bufio.Scanner+ScanLines，它比ReadString('\n')更省内存且不易因超长行 panic
filterLines 函数该怎么设计才不丢数据也不死锁？
核心是明确谁负责关闭 channel、谁负责接收零值、谁承担背压。常见错误是生产者提前 close(chan)，但消费者还没读完；或者消费者没检查 ok 就直接用已关闭 channel 的值，导致 panic。
- 生产者（读文件 goroutine）应在
defer close(out)前确保所有行已发送完毕 - 消费者应始终用
line, ok := 判断 channel 是否关闭，不能假设一定有数据 - 若需带状态过滤（如只保留第 3–10 行），别在 channel 上传递原始行号，而是在 goroutine 内部用局部变量计数，避免额外同步开销
- 示例片段：
func filterLines(r io.Reader, keep func(string) bool) out := make(chan string, 64)<br> go func() {<br> defer close(out)<br> scanner := bufio.NewScanner(r)<br> for scanner.Scan() {<br> line := scanner.Text()<br> if keep(line) {<br> out }<br> }<br> }()<br> return out<br>}
怎么让过滤函数支持多种编码且不破坏流式特性？
Go 标准库没有内置流式编码转换，golang.org/x/text/encoding 提供的 Decoder 必须包装成 io.Reader，但直接套在 bufio.Scanner 上会导致扫描器无法识别换行符（尤其 GBK 中 \x0d\x0a 可能被拆开）。真正可行的是先解码整块字节，再按 \n 拆分，但这样就失去“单行流式”优势。
- 务实方案：约定输入为 UTF-8；若必须支持 GBK/GB2312，用
github.com/axgle/mahonia的NewDecoder("gbk")包装原始io.Reader，再传给bufio.NewReader，最后交给Scanner - 注意
mahonia.Decoder不是线程安全的，每个 goroutine 应独占一个实例 - 若性能敏感，避免每行都调用
DecodeString，改用Decode处理批次字节，再用bytes.Split分行
如何在不缓存全文的前提下做“上下文关联过滤”？
比如要过滤出包含 “error” 的行，并附带其前一行（用于看日志上下文）。这看似需要缓存，但其实只需保存上一行即可，无需 slice 或 map。
- 关键变量只有两个：
prevLine string和hasPrev bool，每次迭代更新即可 - 若需保留前 N 行，用环形 buffer（
[N]string+idx int），而不是动态切片，避免 GC 压力 - 注意边界：第一行没有 prev，最后一行可能触发 “prev + current” 输出但 current 自身不满足条件，逻辑要写清楚
- 不要把 context 逻辑塞进 channel 发送侧，应在消费者侧根据需要拉取 prev，否则 channel 类型会变成
chan struct{Curr, Prev string}，丧失灵活性
实际部署时最容易被忽略的点：chan 缓冲区大小不是越大越好。设为 64 是经验值，但若过滤条件极松（90% 行都保留），缓冲区会迅速填满，goroutine 阻塞在 out ；此时要么加大缓冲（增加内存占用），要么加超时或 select default 丢弃，取决于业务容忍度。
golang免费学习笔记（深入）：立即使用
在学习笔记中，你将探索golang的核心概念和高级技巧！
