역직렬화/구문 분석 오류 KafkaProtobuf Python

PHP 편집기 Xinyi는 일반적인 오류인 역직렬화/구문 분석 오류 KafkaProtobuf Python을 소개합니다. KafkaProtobuf Python 라이브러리를 사용할 때 역직렬화 또는 구문 분석 오류 문제가 발생할 수 있습니다. 이는 메시지의 직렬화 형식과 소비자 코드가 일치하지 않거나 메시지 형식이 잘못되었기 때문일 수 있습니다. 이 문제에 대한 해결 방법에는 메시지의 직렬화 형식과 소비자 코드의 호환성을 확인하고 메시지 형식이 올바른지 확인하는 것이 포함됩니다. 이 기사에서는 유사한 오류를 해결하는 데 도움이 되기를 바라며 이 문제의 원인과 해결 방법을 자세히 설명합니다.

질문 내용

직렬화 코드(Go 언어)

1. 프로듀서

으아악

2.카프카 메시지 보내기

으아악

Messages(Python 앱인 Diff)를 사용해 보세요

으아악

오류

解析消息时出错

디버그하려고 하는데 디버깅할 수 없습니다.

1. 두 애플리케이션의 proto 파일은 동일합니다
2. 저는 proton를 사용하여 pb2 파일을 생성합니다.

도움을 주셔서 감사합니다.

감사합니다

메시지를 원래 형식으로 받을 수 있습니다:

원본 형식 메시지.

原始消息数据：b'x00x00x00x00x02x02x08n75100a-1a47-48b2-93b7-b7a331be59b4x12tcompleted'

• UTF-8을 사용하여 디코딩을 시도했지만 모든 필드를 읽지 못해 실패했습니다.

으아악

위 코드의 출력:

func NewProducer(kafkaBrokerURL string, kafkaSchemaRegistryUrl string) {
    producerConfig := getKafkaProducerConfig(config.EnvConfig)

    producer, err := confluent_kafka.NewProducer(producerConfig)
    if err != nil {
        log.WithFields(log.Fields{"err": err}).Error("Failed to create Kafka Producer")
        log.Panicf("Unable to create Kafka Producer")
    }

    client, err := schemaregistry.NewClient(schemaregistry.NewConfig(kafkaSchemaRegistryUrl))
    if err != nil {
        log.WithFields(log.Fields{"err": err}).Error("Failed to create Kafka Client")
        log.Panicf("Unable to create Kafka Client")
    }

    serializer, err := protobuf.NewSerializer(client, serde.ValueSerde, protobuf.NewSerializerConfig())
    if err != nil {
        log.WithFields(log.Fields{"err": err}).Error("Failed to create Kafka Serializer")
        log.Panicf("Unable to create Kafka Serializer")
    }

    KafkaProducerInstance = &KafkaProducer{
        producer:   producer,
        serializer: serializer,
    }

    log.Info("Created Kafka Producer and Serializer")
}

해결 방법

Go 클라이언트는 직렬화를 위해 스키마 레지스트리를 사용하고 있습니다. 이는 Python 코드도 동일한 작업을 수행해야 함을 의미합니다. 스키마 ID도 바이트로 인코딩되므로 이러한 레코드는 "단지 Protobuf가 아닙니다". 따라서 일반 Protobuf 구문 분석기는 실패합니다.

저장소에는 레지스트리 통합과 함께 Protobuf를 사용하기 위한 샘플 코드가 있습니다

https://github.com/confluenceinc /confluence-kafka-python/blob/master/examples/protobuf_consumer.py

위 내용은 역직렬화/구문 분석 오류 KafkaProtobuf Python의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!