Pourquoi le décodage d'une chaîne avec \'utf-8\' entraîne-t-il une \'UnicodeDecodeError: invalid continuation byte\' alors que \'latin-1\' réussit ?

Erreur d'encodage Unicode : octet de continuation invalide

Question :

Décodage d'une chaîne à l'aide du codec 'utf-8' entraîne une exception 'UnicodeDecodeError: octet de continuation invalide', mais réussit avec le 'latin-1' codec. Pourquoi cela se produit-il ?

Code :

o = "a test of \xe9 char"
v = o.decode("utf-8")

Solution :

UTF-8 contre. Encodage Latin-1

L'encodage UTF-8 utilise plusieurs octets pour représenter les caractères, tandis que Latin-1 est un codage sur un seul octet. En Latin-1, l'octet 0xe9 représente le caractère é.

Octet de continuation invalide

En UTF-8, l'octet 0xe9 est un octet de continuation utilisé pour indiquer que l'octet précédent fait partie d'un caractère multi-octets. Cependant, dans notre chaîne, l'octet 0xe9 apparaît comme un octet isolé, ce qui n'est pas autorisé en UTF-8.

Utilisation de Latin-1

Parce que Latin-1 interprète 0xe9 comme un caractère plutôt qu'un octet de continuation, le décodage réussit avec le codec 'latin-1'. Cependant, cette approche n'est pas idéale, car elle peut conduire à des erreurs si l'encodage attendu est réellement UTF-8.

Contexte supplémentaire

Cette erreur peut survenir lors de la lecture données provenant de sources qui ne spécifient pas explicitement le codage ou lorsque vous travaillez avec des systèmes existants qui utilisent le codage Latin-1 données.

Résolution :

Pour résoudre le problème, assurez-vous que le codage correct est utilisé pour le décodage et l'encodage des données. Pour les fichiers avec un encodage UTF-8 connu ou attendu, utilisez UTF-8 lors de l'ouverture des fichiers et du décodage du texte. Pour les données reçues de sources non fiables ou de systèmes avec un codage inconnu, envisagez d'utiliser des codecs universels tels que « utf-8-sig » ou « chardet » pour détecter automatiquement le codage correct.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!