如何在不將物件載入記憶體的情況下以 JSON 形式編碼大型資料流？

在不載入記憶體物件的情況下將大數據流編碼為JSON

在涉及大量資料流的場景中，json 當嘗試將所有物件同時編碼到記憶體中時，套件可能會遇到限制。考慮以下場景：

<code class="go">type T struct {
    Foo string

    // Bar represents a large stream of objects
    // that we don't want to load entirely into memory.
    Bar chan string
}</code>

嘗試使用 json.Encoder 進行編組時，由於不支援的類型 chan 字串而發生錯誤。

<code class="go">if err := json.NewEncoder(os.Stdout).Encode(&t); err != nil {
    log.Fatal(err)
}</code>

在此類情況下，手動建構JSON 字串變得必要。然而，更有效率的機制是可取的。

如果 json.Marshaler 介面類似於這種結構，編碼過程會更簡單：

<code class="go">type Marshaler interface {
    MarshalJSON(io.Writer) error
}</code>

不幸的是，目前的encoding/json套件缺乏這樣的機制。因此，定制內置包可能是必要的。為此，需要修改encoding/json/encode.go 中的reflectValueQuoted 函式。具體來說，重點應放在數組情況（通過切片）以及添加通道情況。

<code class="go">// Case Array:
e.WriteByte('[')
n := v.Len()
for i := 0; i < n; i++ {
    if i > 0 {
        e.WriteByte(',')
    }
    e.reflectValue(v.Index(i))
}
e.WriteByte(']')

// Case Chan:
e.WriteByte('[')
i := 0
for {
    x, ok := v.Recv()
    if !ok {
        break
    }
    if i > 0 {
        e.WriteByte(',')
    }
    e.reflectValue(x)
    i++
}
e.WriteByte(']')</code>

注意： 通道情況可能需要額外檢查在上面的程式碼中並不明顯。

透過實現這些修改，通道將在編碼過程中被視為類似於數組。此修改可以作為編碼/json 包的補丁提交以供潛在包含。

以上是如何在不將物件載入記憶體的情況下以 JSON 形式編碼大型資料流？的詳細內容。更多資訊請關注PHP中文網其他相關文章！