Go 中如何将序列化 JSON 对象追加到文件中的 JSON 数组末尾-Golang-PHP中文网

Go 中如何将序列化 JSON 对象追加到文件中的 JSON 数组末尾

本文介绍一种无需完整加载大文件即可向 json 数组文件追加新对象的高效方法，通过字节流操作跳过反序列化开销，并分析内存与性能权衡。

本文介绍一种无需完整加载大文件即可向 json 数组文件追加新对象的高效方法，通过字节流操作跳过反序列化开销，并分析内存与性能权衡。

在 Go 中，标准 json.Marshal 和 json.Unmarshal 要求将整个 JSON 数组加载到内存中才能追加新元素——这对大型文件（如 20MB+）既低效又存在内存压力。幸运的是，JSON 数组格式具有可预测的文本结构，使得我们能绕过解析，直接以字节流方式完成“追加”操作。

核心思路：字节级编辑 JSON 文件

由于合法的 JSON 数组以 [ 开头、] 结尾，且元素间以逗号分隔，我们可以：

定位并截断末尾的 ] 及其前导空白；
写入逗号（若非首次追加）和新 JSON 对象的字节；
追加闭合的 ]。

示例代码如下：

package main

import (
    "bytes"
    "encoding/json"
    "os"
    "strings"
    "unicode"
)

func AppendJSONToArrayFile(filename string, v interface{}) error {
    f, err := os.OpenFile(filename, os.O_RDWR|os.O_CREATE, 0644)
    if err != nil {
        return err
    }
    defer f.Close()

    // 读取全部内容（仅用于定位结尾，非全解析）
    data, err := os.ReadFile(filename)
    if err != nil {
        return err
    }

    // 查找最后一个非空白字符位置（应为 ']'）
    end := len(data) - 1
    for end >= 0 && unicode.IsSpace(rune(data[end])) {
        end--
    }
    if end  0 && unicode.IsSpace(rune(data[truncPos-1])) {
        truncPos--
    }
    if truncPos > 0 && data[truncPos-1] == ',' {
        truncPos-- // 移除末尾逗号（避免语法错误）
    }

    if err := f.Truncate(int64(truncPos)); err != nil {
        return err
    }

    // 写入新内容（从 truncPos 开始）
    _, err = f.WriteAt(buf.Bytes(), int64(truncPos))
    return err
}

✅ 优势：