答案：本文介绍使用Go语言实现日志分析工具的方法，依次讲解利用bufio.Scanner逐行读取大文件、通过正则表达式解析日志行提取时间戳和级别、基于关键词过滤并统计错误频率，以及可选的多文件并发处理机制，强调错误处理与资源释放的重要性。
处理日志文件是运维、服务监控和故障排查中的常见任务。Go语言因其高效的并发支持和简洁的文件操作API，非常适合编写日志分析工具。本文将带你一步步实现一个逐行读取并分析日志文件的实用工具，支持按关键词过滤、统计错误频率和输出匹配行。
1. 使用 bufio.Scanner 逐行读取大文件
Go的 bufio.Scanner 是处理文本文件逐行读取的最佳选择，尤其适合大日志文件，因为它按需读取，内存占用低。
以下是一个基础的逐行读取实现：
file, err := os.Open("app.log")
if err != nil {
log.Fatal(err)
}
defer file.Close()
scanner := bufio.NewScanner(file)
for scanner.Scan() {
line := scanner.Text()
// 处理每一行
fmt.Println(line)
}
if err := scanner.Err(); err != nil {
log.Fatal(err)
}
这个结构能稳定读取GB级日志文件而不会内存溢出。
2. 解析日志行并提取关键信息
真实日志通常包含时间戳、日志级别、消息体等。我们可以用正则表达式提取结构化信息。
假设日志格式如下：
2023-10-05 14:23:01 ERROR failed to connect to db使用正则提取时间和级别：
pattern := `(\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2})\s+(\w+)\s+(.*)`
re := regexp.MustCompile(pattern)
match := re.FindStringSubmatch(line)
if len(match) == 4 {
timestamp := match[1]
level := match[2]
message := match[3]
// 可做进一步处理
}
将每行解析为结构体，便于后续统计和过滤。
3. 实现关键词过滤和错误统计
在读取过程中加入过滤逻辑，比如只输出包含“ERROR”的行，或统计各日志级别的出现次数。
示例：统计 ERROR、WARN 出现频率
counts := make(map[string]int)
for scanner.Scan() {
line := scanner.Text()
if strings.Contains(line, "ERROR") {
counts["ERROR"]++
} else if strings.Contains(line, "WARN") {
counts["WARN"]++
}
}
fmt.Printf("ERROR: %d, WARN: %d\n", counts["ERROR"], counts["WARN"])
也可以支持命令行参数传入关键词，动态过滤：
keyword := flag.String("keyword", "", "filter log by keyword")
flag.Parse()
for scanner.Scan() {
line := scanner.Text()
if strings.Contains(line, *keyword) {
fmt.Println(line)
}
}
4. 支持多文件和并发处理（可选进阶）
若需分析多个日志文件，可用 goroutine 并发处理，提升效率。
使用 sync.WaitGroup 控制并发：
var wg sync.WaitGroup
for _, filename := range filenames {
wg.Add(1)
go func(file string) {
defer wg.Done()
processLog(file)
}(filename)
}
wg.Wait()
注意：若输出到标准输出，需加锁避免内容交错。
基本上就这些。一个轻量、高效、可扩展的日志分析工具就这样完成了。你可以在此基础上加入时间范围过滤、输出JSON格式、或写入结果文件等功能。Go的简洁语法和强大标准库让这类工具开发变得非常直接。不复杂但容易忽略的是错误处理和资源释放，记得 always close file 和 check scanner.Err()。
golang免费学习笔记（深入）：立即使用
在学习笔记中，你将探索golang的核心概念和高级技巧！
