Wie kann ich große JSON-Dateien in Go effizient verarbeiten, um Speichererschöpfung zu vermeiden?

Streaming großer JSON-Dateien

Beim Dekodieren großer JSON-Arrays aus Dateien kann es zu Speicherproblemen kommen, wenn versucht wird, alle Daten auf einmal zu laden. Um dieser Herausforderung zu begegnen, können Streaming-Techniken eingesetzt werden.

Im bereitgestellten Beispiel führt die Verwendung von json.Unmarshal für eine umfangreiche JSON-Datei zu einer Speichererschöpfung aufgrund des Ladens des gesamten Arrays.

Um dies zu vermeiden Erwägen Sie, die JSON-Elemente nacheinander zu streamen. Hier ist ein Ansatz basierend auf dem Golang-Dokumentationsbeispiel:

import (
    "encoding/json"
    "fmt"
    "strings"
)

func main() {
    const jsonStream = `
                [
                    {"Name": "Ed", "Text": "Knock knock."},
                    {"Name": "Sam", "Text": "Who's there?"},
                    {"Name": "Ed", "Text": "Go fmt."},
                    {"Name": "Sam", "Text": "Go fmt who?"},
                    {"Name": "Ed", "Text": "Go fmt yourself!"}
                ]
            `
    type Message struct {
        Name, Text string
    }
    dec := json.NewDecoder(strings.NewReader(jsonStream))

    for dec.More() {
        var m Message
        if err := dec.Decode(&m); err != nil {
            fmt.Println(err)
            return
        }
        fmt.Printf("%v: %v\n", m.Name, m.Text)
    }
}

Durch das Streamen der Elemente verarbeitet der Code sie nacheinander und reduziert so den Speicherverbrauch. Beachten Sie, dass dieses Beispiel auf einer Zeichenfolgeneingabe basiert. Es kann nach Bedarf geändert werden, um aus einer Datei zu lesen.

Das obige ist der detaillierte Inhalt vonWie kann ich große JSON-Dateien in Go effizient verarbeiten, um Speichererschöpfung zu vermeiden?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!