Comment décoder efficacement le JSON de streaming volumineux en Go ?

Comment décoder le streaming JSON dans Go

Lorsque vous travaillez avec des réponses JSON volumineuses, il n'est pas idéal de charger l'intégralité de la réponse en mémoire avant de la décoder. L'utilisation de la fonction ioutil.ReadAll peut entraîner des problèmes de mémoire lors du traitement de charges utiles JSON volumineuses. Cet article explique comment décoder les données JSON à la volée lors de leur diffusion, en évitant les problèmes de consommation de mémoire.

JSON Streaming avec json.Decoder

Le json.Decoder de la bibliothèque standard Go fournit la possibilité d'analyser les flux JSON de manière incrémentielle. Ceci est réalisé grâce à la méthode Decoder.Token().

La méthode Decoder.Token() renvoie le jeton suivant dans le flux JSON sans le consommer. Cela permet une analyse sélective des données JSON et un traitement basé sur les événements.

Gestion des structures JSON

L'analyse basée sur les événements nécessite une machine à états pour suivre la position actuelle dans la structure JSON. Nous pouvons utiliser cette machine d'état pour traiter différentes parties des données JSON telles qu'elles apparaissent dans le flux.

Par exemple, disons que nous recevons une réponse JSON au format suivant :

{
    "property1": "value1",
    "property2": "value2",
    "array": [
        { "item1": "value3" },
        { "item2": "value4" }
    ]
}

Nous pouvons écrire une fonction qui analyse progressivement ce flux JSON et traite l'élément du tableau séparément :

func processJSONStream(stream io.Reader) {
    decoder := json.NewDecoder(stream)

    state := "start"
    for decoder.More() {
        token, err := decoder.Token()
        if err != nil {
            log.Fatal(err)
        }

        switch state {
        case "start":
            if delim, ok := token.(json.Delim); ok && delim == '{' {
                state = "object"
            } else {
                log.Fatal("Expected object")
            }
        case "object":
            switch t := token.(type) {
            case json.Delim:
                if t == '}' {
                    // End of object
                    state = "end"
                } else if t == ',' {
                    // Next property
                    continue
                } else if t == '[' {
                    // Array found
                    state = "array"
                }

                if t == ':' {
                    // Property value expected
                    state = "prop_value"
                }
            case string:
                // Property name
                fmt.Printf("Property '%s'\n", t)
            default:
                // Property value
                fmt.Printf("Value: %v\n", t)
            }
        case "array":
            if delim, ok := token.(json.Delim); ok && delim == ']' {
                // End of array
                state = "object"
            } else if token == json.Delim('{') {
                // Array item object
                fmt.Printf("Item:\n")
                state = "item"
            }
        case "item":
            switch t := token.(type) {
            case json.Delim:
                if t == '}' {
                    // End of item object
                    fmt.Printf("\n")
                    state = "array"
                } else if t == ',' {
                    // Next item property
                    fmt.Printf(",\n")
                    continue
                }
            case string:
                // Item property name
                fmt.Printf("\t'%s'", t)
            default:
                // Item property value
                fmt.Printf(": %v", t)
            }
        case "prop_value":
            // Decode the property value
            var value interface{}
            if err := decoder.Decode(&value); err != nil {
                log.Fatal(err)
            }
            fmt.Printf("Value: %v\n", value)
            state = "object"
        }
    }
}

Lorsqu'elle est appelée avec la réponse JSON, cette fonction imprimera les noms et valeurs des propriétés, ainsi que les éléments individuels du tableau.

Conclusion

L'utilisation de json.Decoder et Decoder.Token() dans le traitement événementiel nous permet d'analyser de grandes JSON répond de manière incrémentale, évitant les problèmes de consommation de mémoire et permettant un traitement efficace des données au fur et à mesure de leur flux.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!