Json.NET의 제한된 RAM을 사용하여 대규모 JSON 스트림을 효율적으로 구문 분석하려면 어떻게 해야 합니까?

메모리가 제한된 환경에서 대규모 JSON 스트림을 처리하는 Json.NET

유사한 객체가 많이 포함된 JSON 파일을 구문 분석하는 것은 메모리가 제한된 환경에서 어려운 일입니다. 다음 시나리오를 고려해보세요.

대규모 JSON 파일에는 동일한 구조를 가진 많은 JSON 개체가 포함되어 있습니다. 각 개체가 별도의 파일인 경우 개체를 하나씩 역직렬화할 수 있습니다. 그러나 데이터의 중첩된 특성으로 인해 이러한 개체의 JSON 배열을 직접 역직렬화하면 목록이 아닌 개체가 필요하다는 예외가 발생합니다.

전체 JSON 파일을 C# 개체 목록으로 역직렬화하려고 시도하면 전체 JSON 파일을 RAM으로 읽는 문제를 성공적으로 방지할 수 있습니다. 그러나 JSON 파일의 모든 데이터를 메모리에 계속 보유하는 C# 목록 개체를 생성하는 새로운 문제가 발생합니다.

이러한 한계를 극복하려면 객체를 하나씩 읽는 전략이 필요합니다. 이 접근 방식을 사용하면 전체 JSON 문자열이나 모든 데이터를 C# 개체로 RAM에 로드할 필요가 없습니다.

솔루션

다음 코드 예제에서는 이 접근 방식을 보여줍니다.

JsonSerializer serializer = new JsonSerializer();
MyObject o;
using (FileStream s = File.Open("bigfile.json", FileMode.Open))
using (StreamReader sr = new StreamReader(s))
using (JsonReader reader = new JsonTextReader(sr))
{
    while (reader.Read())
    {
        // 只在流中存在"{"字符时才反序列化
        if (reader.TokenType == JsonToken.StartObject)
        {
            o = serializer.Deserialize<MyObject>(reader);
            // 对o进行处理
        }
    }
}

이 코드는 루프에서 객체를 역직렬화하는 초기 방법을 시뮬레이션하지만 판독기가 스트림에서 "{" 문자를 발견할 때만 객체를 역직렬화합니다. 이 접근 방식은 다른 시작 개체 마커를 찾을 때까지 다음 개체로 건너뛰어 RAM을 과도하게 사용하지 않고 JSON 스트림을 효율적으로 처리합니다. 코드의 myobject가 MyObject으로 수정되었으며, 사용자가 실제 상황에 따라 후속 작업을 추가하기 쉽도록 o 객체 처리에 대한 설명이 추가되었습니다.

위 내용은 Json.NET의 제한된 RAM을 사용하여 대규모 JSON 스트림을 효율적으로 구문 분석하려면 어떻게 해야 합니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!