찾다
백엔드 개발파이썬 튜토리얼원래 단어 재작성: 원래 버그로 간주되었던 것이 실제로는 Protobuf 설계의 기능이라는 예상치 못한 발견이 있었습니다.

안녕하세요 여러분, 저는 정말 대단해요.

최근 우리 프로젝트에서는 데이터 저장을 위한 캐리어로 protobuf 형식을 사용합니다. 실수로 큰 구멍을 묻었는데 그것을 발견하는 데 오랜 시간이 걸렸습니다.

protobuf 소개

protobuf의 전체 이름은 Protocal 버퍼입니다. 이는 Google에서 개발했으며 데이터 직렬화를 위한 교차 언어, 교차 플랫폼 및 확장 가능한 메커니즘입니다. XML과 비슷하지만 더 작고, 더 빠르고, 더 간단합니다. 데이터를 어떻게 구성할지 한 번만 정의하면 생성 도구를 사용하여 일부 직렬화 및 역직렬화 작업이 포함된 소스 코드를 생성할 수 있습니다. 구조화된 데이터는 다양한 데이터 스트림에서 다양한 프로그래밍 언어를 사용하여 쉽게 쓰고 읽을 수 있습니다.

proto2 버전은 Java, Python, Objective-C 및 C++에서 코드 생성을 지원합니다. 새로운 proto3 언어 버전에서는 Kotlin, Dart, Go, Ruby, PHP, C# 및 더 많은 언어를 사용할 수도 있습니다.

어떻게 알게 됐나요?

새 프로젝트에서는 protobuf 형식을 사용하여 실행되는 프로젝트의 데이터를 저장합니다. 이러한 방식으로 디버깅 과정에서 당사는 현장에 기록된 데이터를 기반으로 로컬 디버깅을 수행할 수 있습니다.

message ImageData {
// ms
int64 timestamp = 1;
int32 id = 2;
Data mat = 3;
}

message PointCloud {
// ms
int64 timestamp = 1;
int32 id = 2;
PointData pointcloud = 3;
}

message State {
// ms
int64 timestamp = 1;
string direction = 2;
}

message Sensor {
repeated PointCloud point_data = 1;
repeated ImageData image_data = 2;
repeated State vehicle_data = 3;
}

저희는 이러한 데이터 세트를 정의한 다음 저장 시 센서의 세 가지 데이터 소스의 프레임 속도가 다르기 때문에 저장할 때 단일 센서에는 실제로 한 세트의 데이터만 포함되고 다른 두 유형의 데이터가 포함됩니다. 포함되지 않습니다.

싱글팩만 녹음했을 때는 문제가 없었어요. 단일 패킷을 오랫동안 기록할 수 없다고 느낄 때까지 패킷을 분할하는 솔루션을 찾아야 합니다.

당시에는 매우 간단할 것이라고 생각하여 패키지가 500M에 도달하면 후속 데이터를 새 패키지에 저장하도록 설정했습니다. 아주 원활하게 작성을 마치고 데이터 기록을 위해 현장에 올렸습니다. 잠시 녹음한 후 패키지를 다시 가져와 새 프로그램 테스트를 시뮬레이션했습니다. 일부 패키지의 데이터를 구문 분석하는 데 문제가 있는 것으로 나타났습니다. 프로그램이 실행 도중에 멈추게 됩니다. 많은 테스트 후에 일부 패키지에 이 문제가 있는 것으로 나타났습니다.

처음에 의심했던 것은 파일 크기를 판단하는 방법이 잘못되어 하도급에 영향을 미쳤다는 것입니다. 파일 크기를 판단하면 파일이 열리기 때문입니다. 그러나 파일을 열지 못하는 다른 여러 가지 방법을 판단한 후 분할이 수행되었습니다. 기록된 패키지 중 일부에 여전히 문제가 발생했습니다.

그때 나는 protobuf에 데이터 저장을 위한 몇 가지 특별한 요구 사항이 있다고 의심했습니다. 나중에 일부 기사를 읽고 protobuf가 여러 데이터 세트를 하나의 파일에 저장하려면 식별자가 필요하다는 것을 알게 되었습니다. 그렇지 않으면 파일에서 다시 구문 분석할 때 protobuf는 단일 데이터의 중지 문자가 어디에 있는지 알지 못해 데이터 구문 분석 오류가 발생합니다.

여기에 이런 구덩이가 나타납니다. 우리는 구분 작업을 수행하지 않고 일련의 데이터를 단일 패키지에 저장합니다. protobuf가 구문 분석할 때 파일의 모든 콘텐츠가 단일 센서로 구문 분석됩니다. 센서에는 모든 데이터가 포함되어 있으며 protobuf는 저장된 모든 데이터를 적극적으로 병합합니다.

이제 이전에 싱글 패킷을 녹음했을 때 데이터가 모두 정확했다는 것을 발견했습니다. 그것은 정말 행운이었습니다. protobuf가 성공적으로 구문 분석되었습니다.

어떻게 해결하나요?

이제 protobuf가 이런 방식으로 동작한다는 것을 알았으니, protobuf를 어떻게 나누는지만 알면 됩니다. 이 방법은 우리처럼 사용하는 사람이 너무 적기 때문에 찾기가 정말 어렵습니다. 중국어 검색에서는 이 콘텐츠를 전혀 찾을 수 없습니다. 아마도 모든 사람이 protobuf를 사용하여 데이터를 저장하지 않을 수도 있습니다.

결국 stackoverflow의 몇 가지 답변을 통해 답을 찾았습니다. 답변에서 이 솔루션은 protobuf 3.3에서만 공식적으로 병합되었다는 것을 알게 되었습니다. 이 기능은 정말 거의 사용하지 않는 것 같습니다.

bool SerializeDelimitedToOstream(const MessageLite& message,
 std::ostream* output);
bool ParseDelimitedFromZeroCopyStream(
MessageLite* message, io::ZeroCopyInputStream* input, bool* clean_eof);

이 두 가지 방법을 통해 데이터 스트림에 따라 파일을 하나씩 저장하고 읽을 수 있습니다. 더 이상 데이터 병합 및 읽기에 대해 걱정할 필요가 없습니다.

물론 이렇게 저장된 데이터는 원래의 파싱 방식으로는 파싱할 수 없으며, 저장 형식도 완전히 바뀌었습니다. 이 방법은 먼저 이진 데이터의 크기를 저장한 다음 이진 데이터를 저장합니다.

결론

고민 끝에 드디어 이 칸막이 피트를 해결했습니다. 사용 시나리오는 상대적으로 틈새적일 수 있으므로 전혀 찾을 수 없는 많은 정보가 발생할 수 있습니다. 소스 코드를 직접 살펴보면서 이러한 문제를 발견했습니다. C++의 소스 코드는 읽기가 정말 어렵습니다. 템플릿 메소드와 템플릿 클래스가 많아 일부 세부 사항을 놓치기 쉽습니다. 마지막으로 이를 완전히 확인하기 위해 C# 코드를 살펴보았습니다.

위 내용은 원래 단어 재작성: 원래 버그로 간주되었던 것이 실제로는 Protobuf 설계의 기능이라는 예상치 못한 발견이 있었습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

성명
이 기사는 51CTO.COM에서 복제됩니다. 침해가 있는 경우 admin@php.cn으로 문의하시기 바랍니다. 삭제
어레이는 파이썬으로 과학 컴퓨팅에 어떻게 사용됩니까?어레이는 파이썬으로 과학 컴퓨팅에 어떻게 사용됩니까?Apr 25, 2025 am 12:28 AM

Arraysinpython, 특히 비밀 복구를위한 ArecrucialInscientificcomputing.1) theaRearedFornumericalOperations, DataAnalysis 및 MachinELearning.2) Numpy'SimplementationIncensuressuressurations thanpythonlists.3) arraysenablequick

같은 시스템에서 다른 파이썬 버전을 어떻게 처리합니까?같은 시스템에서 다른 파이썬 버전을 어떻게 처리합니까?Apr 25, 2025 am 12:24 AM

Pyenv, Venv 및 Anaconda를 사용하여 다양한 Python 버전을 관리 할 수 ​​있습니다. 1) PYENV를 사용하여 여러 Python 버전을 관리합니다. Pyenv를 설치하고 글로벌 및 로컬 버전을 설정하십시오. 2) VENV를 사용하여 프로젝트 종속성을 분리하기 위해 가상 환경을 만듭니다. 3) Anaconda를 사용하여 데이터 과학 프로젝트에서 Python 버전을 관리하십시오. 4) 시스템 수준의 작업을 위해 시스템 파이썬을 유지하십시오. 이러한 도구와 전략을 통해 다양한 버전의 Python을 효과적으로 관리하여 프로젝트의 원활한 실행을 보장 할 수 있습니다.

표준 파이썬 어레이를 통해 Numpy Array를 사용하면 몇 가지 장점은 무엇입니까?표준 파이썬 어레이를 통해 Numpy Array를 사용하면 몇 가지 장점은 무엇입니까?Apr 25, 2025 am 12:21 AM

Numpyarrayshaveseveraladvantagesstandardpythonarrays : 1) thearemuchfasterduetoc 기반 간증, 2) thearemorememory-refficient, 특히 withlargedatasets 및 3) wepferoptizedformationsformationstaticaloperations, 만들기, 만들기

어레이의 균질 한 특성은 성능에 어떤 영향을 미칩니 까?어레이의 균질 한 특성은 성능에 어떤 영향을 미칩니 까?Apr 25, 2025 am 12:13 AM

어레이의 균질성이 성능에 미치는 영향은 이중입니다. 1) 균질성은 컴파일러가 메모리 액세스를 최적화하고 성능을 향상시킬 수 있습니다. 2) 그러나 유형 다양성을 제한하여 비 효율성으로 이어질 수 있습니다. 요컨대, 올바른 데이터 구조를 선택하는 것이 중요합니다.

실행 파이썬 스크립트를 작성하기위한 모범 사례는 무엇입니까?실행 파이썬 스크립트를 작성하기위한 모범 사례는 무엇입니까?Apr 25, 2025 am 12:11 AM

tocraftexecutablepythonscripts, 다음과 같은 비스트 프랙티스를 따르십시오 : 1) 1) addashebangline (#!/usr/bin/envpython3) tomakethescriptexecutable.2) setpermissionswithchmod xyour_script.py.3) organtionewithlarstringanduseifname == "__"

Numpy 배열은 배열 모듈을 사용하여 생성 된 배열과 어떻게 다릅니 까?Numpy 배열은 배열 모듈을 사용하여 생성 된 배열과 어떻게 다릅니 까?Apr 24, 2025 pm 03:53 PM

numpyarraysarebetterfornumericaloperations 및 multi-dimensionaldata, mumemer-efficientArrays

Numpy Array의 사용은 Python에서 어레이 모듈 어레이를 사용하는 것과 어떻게 비교됩니까?Numpy Array의 사용은 Python에서 어레이 모듈 어레이를 사용하는 것과 어떻게 비교됩니까?Apr 24, 2025 pm 03:49 PM

numpyarraysarebetterforheavynumericalcomputing, whilearraymoduleisiMoresuily-sportainedprojectswithsimpledatatypes.1) numpyarraysofferversatively 및 formanceforgedatasets 및 complexoperations.2) Thearraymoduleisweighit 및 ep

CTYPES 모듈은 파이썬의 어레이와 어떤 관련이 있습니까?CTYPES 모듈은 파이썬의 어레이와 어떤 관련이 있습니까?Apr 24, 2025 pm 03:45 PM

ctypesallowscreatingandmanipulatingC-stylearraysinPython.1)UsectypestointerfacewithClibrariesforperformance.2)CreateC-stylearraysfornumericalcomputations.3)PassarraystoCfunctionsforefficientoperations.However,becautiousofmemorymanagement,performanceo

See all articles

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

Video Face Swap

Video Face Swap

완전히 무료인 AI 얼굴 교환 도구를 사용하여 모든 비디오의 얼굴을 쉽게 바꾸세요!

뜨거운 도구

에디트플러스 중국어 크랙 버전

에디트플러스 중국어 크랙 버전

작은 크기, 구문 강조, 코드 프롬프트 기능을 지원하지 않음

Dreamweaver Mac版

Dreamweaver Mac版

시각적 웹 개발 도구

메모장++7.3.1

메모장++7.3.1

사용하기 쉬운 무료 코드 편집기

맨티스BT

맨티스BT

Mantis는 제품 결함 추적을 돕기 위해 설계된 배포하기 쉬운 웹 기반 결함 추적 도구입니다. PHP, MySQL 및 웹 서버가 필요합니다. 데모 및 호스팅 서비스를 확인해 보세요.

드림위버 CS6

드림위버 CS6

시각적 웹 개발 도구