Go の「json.Decoder」はどのようにして大きな JSON 応答を効率的にストリームデコードできるのでしょうか?

Go のイベント駆動型パーサーを使用した大規模な JSON 応答のストリーム デコード

Go では、従来、API エンドポイントからの JSON のデコードは、応答全体をメモリにロードすることによって行われてきました。過去のアプローチで実証されました。ただし、大規模な JSON 応答、特にかなりの長さの配列を含む応答を処理するには、より効率的な方法が必要です。

メモリの過負荷を避けるために、この記事では、Go の json.Decoder とそのイベント駆動型解析機能の使用方法を検討します。 JSON ストリームを効果的に処理します。

による JSON ストリーム デコードjson.Decoder

json.Decoder は、ストリーム全体を消費せずに、ストリーミング中の JSON データをデコードする手段を提供します。これにより、大規模な JSON 応答を段階的に処理できるようになります。

イベント駆動型 JSON パーサーの実装

ストリーミング JSON デコーダーを実装するには、Decoder.Token() を利用して個別の JSON 応答を取得します。 JSON ストリーム内のトークン。これらのトークンを解釈することで、JSON 構造内での位置を追跡するステート マシンを構築できます。

大規模な JSON の例の処理

次の JSON 構造について考えてみましょう:

{
    "somefield": "value",
    "otherfield": "othervalue",
    "items": [
        { "id": "1", "data": "data1" },
        { "id": "2", "data": "data2" },
        ...
    ]
}

私たちの目標は、全体をデコードすることなく、この JSON ストリームを処理し、各大きなオブジェクト (「items」配列で表される) をキャプチャすることです。 Structure.

実装例

dec := json.NewDecoder(res.Body) // or strings.NewReader(jsonStream) for demonstration purposes

// Parse the outer JSON structure
_, err := dec.Token() // Expecting an object
if err != nil { ... }

// Iterate over properties
for dec.More() {
    prop, err := dec.Token().(string) // Property name
    if err != nil { ... }

    if prop != "items" {
        var v interface{} // Decode property value
        if err := dec.Decode(&v); err != nil { ... }
        log.Printf("Property '%s' = %v", prop, v)
        continue
    }

    // Parse items array
    _, err := dec.Token() // Expecting array
    if err != nil { ... }

    // Read and process items
    for dec.More() {
        lo := LargeObject{} // Initialize large object struct
        if err := dec.Decode(&lo); err != nil { ... }
        fmt.Printf("Item: %+v\n", lo)
    }

    _, err := dec.Token() // Expecting array closing
    if err != nil { ... }
}

// Parse outer object closing
_, err := dec.Token() // Expecting object closing
if err != nil { ... }

出力

提供された例は、JSON ストリームからのラージ オブジェクトの正常な処理を示す次の出力を生成します。

Property 'somefield' = value
Property 'otherfield' = othervalue
Item: {Id:1 Data:data1}
Item: {Id:2 Data:data2}
...

結論

json.Decoder を活用することでイベント駆動型の解析機能により、開発者は大規模な JSON 応答を効率的に処理できるため、メモリの過負荷が回避され、ストリーミング データのリアルタイム処理が可能になります。提示された実装は、Go でそのようなデコーダーを実装するための実践的なガイドとして機能します。

以上がGo の「json.Decoder」はどのようにして大きな JSON 応答を効率的にストリームデコードできるのでしょうか?の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。