本文介绍一种不依赖正则表达式的高性能方案，使用 Go 的 strings 和 encoding/json 包，将形如 "2015/01/01-01:00:00, {'a50': 15.5, 'a95': 14.5, 'a99': 21.5}" 的文本行解析并导出为标准 CSV 格式。
本文介绍一种不依赖正则表达式的高性能方案，使用 go 的 `strings` 和 `encoding/json` 包，将形如 `"2015/01/01-01:00:00, {'a50': 15.5, 'a95': 14.5, 'a99': 21.5}"` 的文本行解析并导出为标准 csv 格式。
在处理日志类文本数据时，常遇到结构“半规整”的情况：时间戳与 JSON 风格键值对共存于同一行，但又非标准 JSON 或 CSV。若强行用正则提取浮点数，不仅可读性差、易出错，且如问题中指出——Go 的 regexp 包在高频小匹配场景下存在明显性能开销。更优解是分治 + 类型驱动解析：利用字符串定位快速切分字段边界，再交由 json.Unmarshal 安全解析结构化部分。
核心思路：零拷贝切片 + 结构体映射
首先定义目标数据结构，注意字段名需与原始键名匹配（通过 struct tag 显式指定）：
type Record struct {
A50 float64 `json:"a50"`
A95 float64 `json:"a95"`
A99 float64 `json:"a99"`
}
关键技巧在于：避免正则，改用 strings.Index 定位首个逗号，分离时间与数据段。原始格式中逗号是唯一稳定分隔符，其左侧为 YYYY/MM/DD-HH:MM:SS，右侧为类 JSON 字符串（尽管使用单引号，但 encoding/json 默认不支持；需先替换为双引号）。
完整实现示例
以下是一个生产就绪的转换函数，支持流式处理（内存友好），自动处理单引号 → 双引号转换，并严格校验解析错误：
package main
import (
"bufio"
"encoding/json"
"fmt"
"os"
"strings"
)
type Record struct {
A50 float64 `json:"a50"`
A95 float64 `json:"a95"`
A99 float64 `json:"a99"`
}
func convertToCSV(inputPath, outputPath string) error {
inFile, err := os.Open(inputPath)
if err != nil {
return fmt.Errorf("failed to open input: %w", err)
}
defer inFile.Close()
outFile, err := os.Create(outputPath)
if err != nil {
return fmt.Errorf("failed to create output: %w", err)
}
defer outFile.Close()
scanner := bufio.NewScanner(inFile)
writer := bufio.NewWriter(outFile)
defer writer.Flush()
for scanner.Scan() {
line := strings.TrimSpace(scanner.Text())
if line == "" {
continue
}
// Step 1: 找到第一个逗号位置，分割时间与数据段
commaIdx := strings.Index(line, ",")
if commaIdx == -1 {
return fmt.Errorf("invalid line format (no comma): %q", line)
}
timestampPart := line[:commaIdx]
dataPart := line[commaIdx+1:]
// Step 2: 提取日期（截断时间部分，保留 YYYY/MM/DD）
datePart := timestampPart[:10] // 假设固定格式 "YYYY/MM/DD-..."
// Step 3: 将单引号替换为双引号，使其符合 JSON 规范
jsonSafe := strings.ReplaceAll(dataPart, "'", `"`)
// Step 4: 解析 JSON 数据
var rec Record
if err := json.Unmarshal([]byte(jsonSafe), &rec); err != nil {
return fmt.Errorf("failed to unmarshal JSON in line %q: %w", line, err)
}
// Step 5: 格式化为 CSV 行（注意：字段间用英文逗号+空格是可选风格；如需严格 CSV，应去掉空格并处理转义）
csvLine := fmt.Sprintf("%s, %.1f, %.1f, %.1f\n", datePart, rec.A50, rec.A95, rec.A99)
if _, err := writer.WriteString(csvLine); err != nil {
return fmt.Errorf("failed to write CSV line: %w", err)
}
}
if err := scanner.Err(); err != nil {
return fmt.Errorf("scan error: %w", err)
}
return nil
}
func main() {
if err := convertToCSV("input.txt", "output.csv"); err != nil {
fmt.Fprintf(os.Stderr, "Error: %v\n", err)
os.Exit(1)
}
fmt.Println("Conversion completed successfully.")
}
注意事项与最佳实践
- 单引号兼容性：Go 的 encoding/json 仅支持双引号字符串。示例中使用 strings.ReplaceAll(dataPart, "'", "\"") 是轻量且安全的预处理方式；若原始数据中存在带单引号的字符串值（极少见），需改用更健壮的词法替换（如正则 "'([^']*)'" → "$1"），但本场景中因数据为固定键值对，直接全局替换即可。
- 时间截取鲁棒性：示例假设日期格式恒为 YYYY/MM/DD-...（10 字符前缀）。若存在变长格式（如 2023/1/1-...），应改用 strings.Split(timestampPart, "-")[0] 提取日期部分。
- 错误处理策略：示例采用“遇错即停”，适合调试；生产环境可改为跳过异常行并记录警告（log.Printf("skipped bad line: %q — %v", line, err)）。
- 性能考量：全程无正则、无冗余字符串分配（line[:10]、line[commaIdx+1:] 均为 slice 操作），json.Unmarshal 底层已高度优化，实测百万行处理耗时通常在秒级。
- CSV 规范提示：严格 CSV 标准要求字段含逗号/换行/双引号时需转义。本例输出字段均为纯数字和日期，无需转义；若未来扩展字段含文本，建议改用 encoding/csv 包写入。
此方案兼顾简洁性、可维护性与性能，在日志清洗、ETL 预处理等场景中值得作为标准模式复用。
