Wie können wir große Datenströme in JSON kodieren, ohne Objekte in den Speicher zu laden?

Kodierung großer Datenströme in JSON ohne Laden von In-Memory-Objekten

In Szenarien mit umfangreichen Datenströmen ist der json Paket kann auf Einschränkungen stoßen, wenn versucht wird, alle Objekte gleichzeitig in den Speicher zu kodieren. Stellen Sie sich dieses Szenario vor:

<code class="go">type T struct {
    Foo string

    // Bar represents a large stream of objects
    // that we don't want to load entirely into memory.
    Bar chan string
}</code>

Beim Versuch, t mit json.Encoder zu marshallieren, tritt ein Fehler aufgrund der nicht unterstützten Typ-Chan-Zeichenfolge auf.

<code class="go">if err := json.NewEncoder(os.Stdout).Encode(&t); err != nil {
    log.Fatal(err)
}</code>

In Situationen wie diesen muss manuell erstellt werden der JSON-String wird notwendig. Ein effizienterer Mechanismus ist jedoch wünschenswert.

Wenn die json.Marshaler-Schnittstelle dieser Struktur ähneln würde, wäre der Codierungsprozess einfacher:

<code class="go">type Marshaler interface {
    MarshalJSON(io.Writer) error
}</code>

Leider ist das Paket „encoding/json“ derzeit nicht verfügbar fehlt ein solcher Mechanismus. Daher kann es erforderlich sein, das integrierte Paket anzupassen. Um dies zu erreichen, sind Änderungen an der Funktion „reflectValueQuoted“ in „encoding/json/encode.go“ erforderlich. Insbesondere sollte der Fokus auf den Array-Fall (mit Fallthrough zu Slice) und das Hinzufügen eines Falls für Kanäle gelegt werden.

<code class="go">// Case Array:
e.WriteByte('[')
n := v.Len()
for i := 0; i < n; i++ {
    if i > 0 {
        e.WriteByte(',')
    }
    e.reflectValue(v.Index(i))
}
e.WriteByte(']')

// Case Chan:
e.WriteByte('[')
i := 0
for {
    x, ok := v.Recv()
    if !ok {
        break
    }
    if i > 0 {
        e.WriteByte(',')
    }
    e.reflectValue(x)
    i++
}
e.WriteByte(']')</code>

Hinweis: Der Kanalfall erfordert möglicherweise zusätzliche Überprüfungen sind im obigen Code nicht ersichtlich.

Durch die Implementierung dieser Änderungen würden Kanäle im Codierungsprozess ähnlich wie Arrays behandelt. Diese Änderung könnte als Patch an das Paket „encoding/json“ zur möglichen Aufnahme übermittelt werden.

Das obige ist der detaillierte Inhalt vonWie können wir große Datenströme in JSON kodieren, ohne Objekte in den Speicher zu laden?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!