Wie kann ich riesige JSON-Arrays streamen, um Speicherprobleme zu vermeiden?

Streaming-Dekodierung von riesigen JSON-Arrays

Das Abrufen großer JSON-Arrays aus Dateien kann bei Verwendung von Unmarshal speicherintensiv sein, da das Ganze geladen wird Daten auf einmal in den Speicher. Um dieses Problem zu lösen, können wir Streaming-Techniken nutzen, um das Array Element für Element zu verarbeiten.

Beispiel für die Verwendung von Stream Decoder

Das Paket „encoding/json“ bietet eine Lösung für das Streaming von JSON Verarbeitung. Hier ist ein erweitertes Beispiel aus der Paketdokumentation:

package main

import (
    "encoding/json"
    "fmt"
    "log"
    "strings"
)

func main() {
    const jsonStream = `
                [
                    {"Name": "Ed", "Text": "Knock knock."},
                    {"Name": "Sam", "Text": "Who's there?"},
                    {"Name": "Ed", "Text": "Go fmt."},
                    {"Name": "Sam", "Text": "Go fmt who?"},
                    {"Name": "Ed", "Text": "Go fmt yourself!"}
                ]
            `
    type Message struct {
        Name, Text string
    }
    dec := json.NewDecoder(strings.NewReader(jsonStream))

    // read open bracket
    t, err := dec.Token()
    if err != nil {
        log.Fatal(err)
    }
    fmt.Printf("%T: %v\n", t, t)

    // while the array contains values
    for dec.More() {
        var m Message
        // decode an array value (Message)
        err := dec.Decode(&m)
        if err != nil {
            log.Fatal(err)
        }

        fmt.Printf("%v: %v\n", m.Name, m.Text)
    }

    // read closing bracket
    t, err = dec.Token()
    if err != nil {
        log.Fatal(err)
    }
    fmt.Printf("%T: %v\n", t, t)

}

In diesem Beispiel erstellen wir einen Stream-Decoder (dec) und verwenden dec.More() innerhalb einer Schleife, um die Array-Elemente zu durchlaufen. Jede Nachricht wird dekodiert und ihr Inhalt gedruckt, ohne dass das gesamte Array in den Speicher geladen wird.

Das obige ist der detaillierte Inhalt vonWie kann ich riesige JSON-Arrays streamen, um Speicherprobleme zu vermeiden?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!