bufio.scanner 逐行读取最简单但不支持随机跳转;需预建行偏移索引表实现 o(1) 定位,配合 os.file.seek 和 bufio.reader.readline 高效读取指定行。

用 bufio.Scanner 逐行读取并计数跳转最简单,但不支持反向或随机跳转
Go 标准库没有内置的“按行号读第 N 行”函数,bufio.Scanner 是最常用、内存友好的正向遍历方式。它适合一次性定位(比如读第 1000 行),但每次调用都要从头开始扫描——不能缓存索引,也不能倒着读。
- 每行调用一次
scanner.Scan(),配合计数器判断是否到达目标行号 - 遇到空行、超长行(默认 64KB 限制)会失败,可调用
scanner.Buffer()扩容 - 注意
scanner.Text()返回的是当前行内容副本,不是底层字节切片,不可用于零拷贝场景 - 如果文件编码不是 UTF-8(如 GBK),需先用
golang.org/x/text/encoding解码,否则可能乱码或提前截断
需要多次随机查行?必须预建行偏移索引表
反复查不同行号时,每次都扫一遍文件是 O(N×查询次数) 的开销。正确做法是首次读取时记录每行开头的文件字节偏移(int64),存在 slice 或 map 中,后续用 os.File.Seek() 直接跳转,再用 bufio.NewReader.ReadBytes('\n') 读该行。
- 构建索引只需一次:用
file.Read()或io.ReadFull()配合字节查找'\n',记录每个换行符前的位置(首行偏移为 0) - 索引数组长度 = 行数,
offsets[i]表示第 i+1 行起始位置(0-indexed) - 第 N 行(1-indexed)对应索引
offsets[N-1];若N > len(offsets),说明越界 - Windows 换行
"\r\n"会被视为两个字符,但ReadBytes('\n')仍能正确截断,无需特殊处理
os.File.Seek() 跳转后读一行的典型写法
有了行偏移表,实际读取某行就是三步:seek → read up to newline → 处理结果。注意 Seek() 的 whence 参数必须用 io.SeekStart,且返回值要检查错误。
_, err := file.Seek(offsets[lineNum-1], io.SeekStart)
if err != nil {
return "", err
}
line, isPrefix, err := reader.ReadLine() // 注意:ReadLine 不含 '\n',且可能分片
if err != nil {
return "", err
}
if isPrefix {
return "", errors.New("line too long")
}
return string(line), nil
-
ReadLine()比ReadBytes()更省内存,但要求单行不超缓冲区(默认 4KB),否则isPrefix=true,需手动拼接 - 若用
ReadBytes('\n'),返回值含换行符,需bytes.TrimRight()清理 - 文件被其他进程截断或追加时,偏移可能失效,生产环境建议加
file.Stat().Size()校验
大文件(GB 级)别碰 strings.Split(string(bytes), "\n")
把整个文件读进内存再 split,看似代码短,实则危险:不仅吃光内存,还会因 UTF-8 多字节字符边界问题导致行分割错位(比如在中文字符中间断开),string(bytes) 强制解码还可能 panic。
- 哪怕只是
os.ReadFile()一个 2GB 文件,Go 进程 RSS 就飙升到 2GB+,GC 压力剧增 -
strings.Split对\r\n和\n一视同仁,但对\r(旧 Mac)无效,跨平台不鲁棒 - 真正需要全文本处理(如正则匹配所有行),应改用
bufio.Scanner+ 自定义 SplitFunc,控制每次读取上限
行索引的本质是空间换时间:第一次慢,换来后续 O(1) 定位。没这个意识,就容易在大文件上反复掉进全量扫描的坑里。
golang免费学习笔记(深入):立即使用
在学习笔记中,你将探索golang的核心概念和高级技巧!











