使用 Go 的事件驱动解析器流式解码大型 JSON 响应
在 Go 中,从 API 端点解码 JSON 传统上是通过将整个响应加载到内存中来完成的,如下所示在过去的方法中得到了证明。然而,处理大型 JSON 响应,尤其是那些包含显着长度数组的响应,需要更高效的方法。
为了避免内存过载,本文探讨了如何使用 Go 的 json.Decoder 及其事件驱动的解析功能来有效地处理 JSON 流。
使用 json.Decoder 进行 JSON 流解码
json.Decoder 提供了一种解码 JSON 数据的方法仍在流入,而不消耗整个流。这允许以零碎的方式处理大型 JSON 响应。
实现事件驱动的 JSON 解析器
为了实现流式 JSON 解码器,我们利用 Decoder.Token() 来检索单个JSON 流中的标记。通过解释这些标记,我们可以构建一个状态机来跟踪我们在 JSON 结构中的位置。
处理大型 JSON 示例
考虑以下 JSON 结构:
{ "somefield": "value", "otherfield": "othervalue", "items": [ { "id": "1", "data": "data1" }, { "id": "2", "data": "data2" }, ... ] }
我们的目标是处理这个 JSON 流,捕获每个大对象(由“items”数组表示),而不需要解码整个对象
实现示例
dec := json.NewDecoder(res.Body) // or strings.NewReader(jsonStream) for demonstration purposes // Parse the outer JSON structure _, err := dec.Token() // Expecting an object if err != nil { ... } // Iterate over properties for dec.More() { prop, err := dec.Token().(string) // Property name if err != nil { ... } if prop != "items" { var v interface{} // Decode property value if err := dec.Decode(&v); err != nil { ... } log.Printf("Property '%s' = %v", prop, v) continue } // Parse items array _, err := dec.Token() // Expecting array if err != nil { ... } // Read and process items for dec.More() { lo := LargeObject{} // Initialize large object struct if err := dec.Decode(&lo); err != nil { ... } fmt.Printf("Item: %+v\n", lo) } _, err := dec.Token() // Expecting array closing if err != nil { ... } } // Parse outer object closing _, err := dec.Token() // Expecting object closing if err != nil { ... }
输出
提供的示例将产生以下输出,演示如何成功处理来自 JSON 流的大对象:
Property 'somefield' = value Property 'otherfield' = othervalue Item: {Id:1 Data:data1} Item: {Id:2 Data:data2} ...
结论
利用 json.Decoder 的事件驱动借助解析功能,开发人员可以高效处理大型 JSON 响应,避免内存过载并实现流数据的实时处理。所提出的实现可以作为在 Go 中实现此类解码器的实用指南。
以上是Go 的 json.Decoder 如何高效地对大型 JSON 响应进行流式解码?的详细内容。更多信息请关注PHP中文网其他相关文章!

本文演示了创建模拟和存根进行单元测试。 它强调使用接口,提供模拟实现的示例,并讨论最佳实践,例如保持模拟集中并使用断言库。 文章

本文探讨了GO的仿制药自定义类型约束。 它详细介绍了界面如何定义通用功能的最低类型要求,从而改善了类型的安全性和代码可重复使用性。 本文还讨论了局限性和最佳实践

本文使用跟踪工具探讨了GO应用程序执行流。 它讨论了手册和自动仪器技术,比较诸如Jaeger,Zipkin和Opentelemetry之类的工具,并突出显示有效的数据可视化

本文讨论了GO的反思软件包,用于运行时操作代码,对序列化,通用编程等有益。它警告性能成本,例如较慢的执行和更高的内存使用,建议明智的使用和最佳

本文讨论了通过go.mod,涵盖规范,更新和冲突解决方案管理GO模块依赖关系。它强调了最佳实践,例如语义版本控制和定期更新。

本文讨论了GO中使用表驱动的测试,该方法使用测试用例表来测试具有多个输入和结果的功能。它突出了诸如提高的可读性,降低重复,可伸缩性,一致性和A


热AI工具

Undresser.AI Undress
人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover
用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool
免费脱衣服图片

Clothoff.io
AI脱衣机

AI Hentai Generator
免费生成ai无尽的。

热门文章

热工具

Atom编辑器mac版下载
最流行的的开源编辑器

Dreamweaver CS6
视觉化网页开发工具

安全考试浏览器
Safe Exam Browser是一个安全的浏览器环境,用于安全地进行在线考试。该软件将任何计算机变成一个安全的工作站。它控制对任何实用工具的访问,并防止学生使用未经授权的资源。

螳螂BT
Mantis是一个易于部署的基于Web的缺陷跟踪工具,用于帮助产品缺陷跟踪。它需要PHP、MySQL和一个Web服务器。请查看我们的演示和托管服务。

禅工作室 13.0.1
功能强大的PHP集成开发环境