
本文介绍一种轻量、可靠的方式,让 go 编写的日志解析脚本记住上次运行时已处理到的位置(如行号或偏移量),避免重复触发相同告警,无需数据库即可实现状态持久化。
本文介绍一种轻量、可靠的方式,让 go 编写的日志解析脚本记住上次运行时已处理到的位置(如行号或偏移量),避免重复触发相同告警,无需数据库即可实现状态持久化。
在构建日志监控类工具时,一个常见但关键的需求是:确保每次运行只处理新增日志,不重复告警。对于以追加模式写入的典型应用/服务日志(如 Nginx、Syslog 或自定义结构化日志),最简洁有效的方案不是引入数据库,而是采用「位置标记(Position Tracking)」机制——即记录并持久化上一次成功解析的文件偏移量(offset) 或 行号(line number)。
✅ 推荐方案:基于文件偏移量(os.Seek)的断点续扫
相比行号,字节偏移量更健壮:它不受换行符差异(CRLF/LF)、空行、日志轮转后行号重置等影响,且天然支持二进制安全日志(如 JSON Lines 格式)。Go 标准库 os.File 提供了精确的 Seek() 和 Read() 支持。
示例核心逻辑(Go)
package main
import (
"bufio"
"fmt"
"os"
"strconv"
"strings"
)
const (
logPath = "/var/log/app.log"
statePath = "/var/run/logparser.offset" // 存储上次读取的字节偏移量
keyword = "ERROR"
)
func main() {
// 1. 读取上次保存的 offset
offset, err := readOffset(statePath)
if err != nil {
offset = 0 // 首次运行从头开始
}
// 2. 打开日志文件,定位到 offset
f, err := os.Open(logPath)
if err != nil {
panic(err)
}
defer f.Close()
if _, err := f.Seek(offset, 0); err != nil {
panic(err)
}
// 3. 逐行扫描新增内容
scanner := bufio.NewScanner(f)
for scanner.Scan() {
line := scanner.Text()
if strings.Contains(line, keyword) {
fmt.Printf("ALERT: %s\n", line)
// ⚠️ 此处调用你的告警函数(如 HTTP webhook、邮件等)
}
}
if err := scanner.Err(); err != nil {
panic(err)
}
// 4. 更新 offset:保存当前文件末尾位置(即下次起始点)
newPos, _ := f.Seek(0, 2) // Seek to end
writeOffset(statePath, newPos)
}
func readOffset(path string) (int64, error) {
data, err := os.ReadFile(path)
if err != nil {
return 0, err
}
offset, err := strconv.ParseInt(strings.TrimSpace(string(data)), 10, 64)
return offset, err
}
func writeOffset(path string, offset int64) error {
return os.WriteFile(path, []byte(fmt.Sprintf("%d", offset)), 0644)
}
? 关键设计说明
-
原子性保障:
writeOffset()应使用os.WriteFile(覆盖写入),避免因崩溃导致中间状态;生产环境可进一步用临时文件 +os.Rename实现原子更新。 -
日志轮转兼容性:若日志被
logrotate切割(如app.log → app.log.1),需配合inotify或检查 inode 变更来重置 offset —— 但这是进阶场景,多数静态轮转可通过定期清理 state 文件或添加时间戳校验应对。 -
性能考量:
bufio.Scanner默认缓冲 64KB,对 TB 级日志依然高效;如需更高吞吐,可改用io.ReadBytes('\n')或bytes.IndexByte手动解析。 -
多实例安全:单机单任务场景下,state 文件足够;若需多进程协同,应引入文件锁(
syscall.Flock)或使用简单锁文件(.offset.lock)。
? 总结
不要为状态持久化过度设计。对于追加型日志,用一个纯文本 offset 文件 +
os.Seek定位,是最小可行、高可靠、零依赖的解决方案。它比行号更鲁棒,比 SQLite 更轻量,比内存缓存更持久——恰是 Go “少即是多” 哲学的完美实践。










