本文介绍如何在 go 中高效解析形如 2015/01/01-01:00:00, {'a50': 15.5, 'a99': 21.5} 的混合文本日志，提取时间戳与数值字段并生成标准 csv，避免正则性能瓶颈，采用字符串切片 + json 反序列化方案。
本文介绍如何在 go 中高效解析形如 2015/01/01-01:00:00, {'a50': 15.5, 'a99': 21.5} 的混合文本日志，提取时间戳与数值字段并生成标准 csv，避免正则性能瓶颈，采用字符串切片 + json 反序列化方案。
在处理日志类文本 dump 时，常见格式是“时间戳 + 逗号 + 类 JSON 字符串”，但该字符串使用单引号而非双引号（不符合标准 JSON），直接调用 json.Unmarshal 会失败。因此需先做轻量预处理：将单引号替换为双引号，并确保键名符合 Go 结构体标签约定。
以下是完整、健壮、生产可用的实现方案：
✅ 核心思路
- 不依赖正则：用 strings.Index 和 strings.Split 快速定位分隔符，避免 regexp 的运行时开销；
- 复用标准库：将清洗后的字符串交由 encoding/json 解析，语义清晰、容错性强；
- 流式处理：逐行读取、逐行转换、逐行写入，内存占用恒定，适用于超大文件；
- 时间截断可控：从 2015/01/01-01:00:00 提取 2015/01/01，使用 strings.SplitN(line, "-", 2) 最安全（避免误切数值中的 -）。
? 完整代码示例
package main
import (
"encoding/csv"
"encoding/json"
"fmt"
"os"
"strings"
)
type Record struct {
A50 float64 `json:"a50"`
A95 float64 `json:"a95"`
A99 float64 `json:"a99"`
}
func main() {
inputFile, err := os.Open("input.txt")
if err != nil {
panic(err)
}
defer inputFile.Close()
outputFile, err := os.Create("output.csv")
if err != nil {
panic(err)
}
defer outputFile.Close()
writer := csv.NewWriter(outputFile)
defer writer.Flush()
scanner := bufio.NewScanner(inputFile)
for scanner.Scan() {
line := strings.TrimSpace(scanner.Text())
if line == "" {
continue
}
// Step 1: 分离时间戳和 JSON 部分（以第一个逗号为界）
commaIdx := strings.Index(line, ",")
if commaIdx == -1 {
fmt.Fprintf(os.Stderr, "warning: no comma found in line: %s\n", line)
continue
}
timestampPart := strings.TrimSpace(line[:commaIdx])
jsonPart := strings.TrimSpace(line[commaIdx+1:])
// Step 2: 清洗 JSON —— 单引号 → 双引号（关键！）
cleanJSON := strings.ReplaceAll(jsonPart, "'", `"`)
// Step 3: 提取日期（2015/01/01-01:00:00 → 2015/01/01）
date := timestampPart
if idx := strings.Index(timestampPart, "-"); idx > 0 {
date = timestampPart[:idx]
}
// Step 4: JSON 反序列化
var rec Record
if err := json.Unmarshal([]byte(cleanJSON), &rec); err != nil {
fmt.Fprintf(os.Stderr, "error parsing JSON in line %q: %v\n", line, err)
continue
}
// Step 5: 写入 CSV 行
if err := writer.Write([]string{
date,
fmt.Sprintf("%.1f", rec.A50),
fmt.Sprintf("%.1f", rec.A95),
fmt.Sprintf("%.1f", rec.A99),
}); err != nil {
panic(err)
}
}
if err := scanner.Err(); err != nil {
panic(err)
}
}
? 注意：需补上 import "bufio"；若输入含空格或特殊缩进，strings.TrimSpace 已覆盖基础清洗。如需更高鲁棒性（例如容忍多余空格、缺失字段），可为 Record 字段添加 json:",omitempty" 并检查零值。
⚠️ 关键注意事项
- 单引号是最大陷阱：Go 的 json 包严格遵循 RFC 7159，仅接受双引号字符串。strings.ReplaceAll(..., "'", "\"") 是最简且安全的修复方式；
- 避免硬编码索引：原答案中 line[20:] 不可靠（时间格式长度可能变化），应始终基于 strings.Index 或 strings.Split 动态定位；
- 错误处理不可省略：日志文件常含脏数据，跳过异常行并记录警告（而非 panic）更符合运维实践；
- CSV 输出建议用 encoding/csv：相比手动 fmt.Sprintf，它自动处理字段内逗号、换行、引号转义，杜绝格式污染。
✅ 总结
该方案以「最小依赖、最大兼容、线性复杂度」为目标：无正则、无第三方库、无内存爆炸风险。对百万行日志，可在数秒内完成转换，同时保持代码可读性与可维护性。当面对类似半结构化文本时，优先考虑「定位 → 清洗 → 标准解析」三步法，远胜于过度设计的通用 parser。
