本文介绍一种不依赖正则表达式的高性能方案：利用 Go 的 strings 工具函数定位结构分隔符，结合 json.Unmarshal 解析嵌套键值数据，最终生成标准 CSV 输出。
本文介绍一种不依赖正则表达式的高性能方案：利用 go 的 `strings` 工具函数定位结构分隔符，结合 `json.unmarshal` 解析嵌套键值数据，最终生成标准 csv 输出。
在处理日志类文本 dump（如监控指标快照）时，常见格式为时间戳加 JSON 风格键值对，例如：
2015/01/01-01:00:00, {'a50': 15.5, 'a95': 14.5, 'a99': 21.5}
目标是将其规整为 CSV 行：仅保留日期部分（截断 -HH:MM:SS），并按固定顺序提取 a50、a95、a99 的浮点数值，形成：
2015/01/01,15.5,14.5,21.5
直接使用正则表达式虽可行，但在高吞吐场景下性能开销显著。更优解是以字符串切片为核心，辅以标准 JSON 解析——既避免正则回溯，又复用 Go 原生健壮的 encoding/json 包（注意：原始数据使用单引号，需预处理为双引号）。
✅ 推荐实现步骤
- 定义结构体：明确字段与 JSON tag 映射关系；
- 逐行读取：使用 bufio.Scanner 流式处理，内存友好；
- 精确定位分隔符：用 strings.Index(line, ", ") 找到 , 分界点，分离时间与数据部分；
- 清洗并解析 JSON：将单引号替换为双引号，再 json.Unmarshal 到结构体；
- 格式化输出：用 fmt.Fprintf 写入 CSV 文件，日期部分通过 strings.Split 或 strings.Index 截取。
以下是完整可运行示例：
package main
import (
"bufio"
"encoding/json"
"fmt"
"os"
"strings"
)
type LineData struct {
A50 float64 `json:"a50"`
A95 float64 `json:"a95"`
A99 float64 `json:"a99"`
}
func main() {
inFile, _ := os.Open("input.txt")
defer inFile.Close()
outFile, _ := os.Create("output.csv")
defer outFile.Close()
scanner := bufio.NewScanner(inFile)
writer := bufio.NewWriter(outFile)
defer writer.Flush()
for scanner.Scan() {
line := strings.TrimSpace(scanner.Text())
if line == "" {
continue
}
// Step 1: Split timestamp and JSON part at first ", "
commaIdx := strings.Index(line, ", ")
if commaIdx == -1 {
continue // skip malformed lines
}
timestampPart := line[:commaIdx]
jsonPart := line[commaIdx+2:]
// Step 2: Normalize single quotes → double quotes for valid JSON
jsonPart = strings.ReplaceAll(jsonPart, "'", `"`)
// Step 3: Parse into struct
var data LineData
if err := json.Unmarshal([]byte(jsonPart), &data); err != nil {
fmt.Fprintf(os.Stderr, "parse error on line %q: %v\n", line, err)
continue
}
// Step 4: Extract date only (e.g., "2015/01/01-01:00:00" → "2015/01/01")
dateOnly := strings.Split(timestampPart, "-")[0]
// Step 5: Write CSV row
fmt.Fprintf(writer, "%s,%.1f,%.1f,%.1f\n", dateOnly, data.A50, data.A95, data.A99)
}
if err := scanner.Err(); err != nil {
fmt.Fprintln(os.Stderr, "read error:", err)
}
}
⚠️ 注意事项与最佳实践
- 单引号兼容性：Go 的 json 包严格遵循 RFC 7159，不支持单引号。务必用 strings.ReplaceAll(jsonPart, "'",") 预处理，或改用第三方库（如github.com/bitly/go-simplejson`）支持宽松解析；
- 错误处理不可省略：实际生产环境需检查 json.Unmarshal 错误、文件 I/O 异常及边界情况（如缺失字段、非数字值），建议为关键字段添加零值默认逻辑；
- 性能考量：strings.Index 和 strings.Split 时间复杂度为 O(n)，远低于正则引擎；若文件极大（GB 级），应避免 strings.ReplaceAll 全量复制，可改用字节流扫描 + 按需替换；
- 扩展性建议：如字段动态变化，可改用 map[string]interface{} + 类型断言，或引入 schema 定义（如 mapstructure 库）提升可维护性。
该方法兼顾简洁性、可读性与性能，是处理结构化文本转 CSV 的典型 Go 风格实践。
