Une brève introduction aux problèmes de codage de chaînes dans la programmation Python

Cet article présente la programmation de chaînes en Python Nous avons déjà dit que la chaîne est aussi un type de données , mais, caractères Qu'est-ce qui est spécial. à propos de la chaîne , c'est qu'il y a un problème d'encodage.

Étant donné que les ordinateurs ne peuvent traiter que des nombres, si vous souhaitez traiter du texte, vous devez d'abord convertir le texte en nombres avant le traitement. Les premiers ordinateurs ont été conçus en utilisant 8 bits comme octet. Par conséquent, le plus grand entier pouvant être représenté par un octet est 255 (binaire 11111111 = décimal 255). Si vous souhaitez représenter un entier plus grand, vous devez utiliser plus d'octets. Par exemple, l'entier maximum pouvant être représenté par deux octets est 65 535 et l'entier maximum pouvant être représenté par 4 octets est 4 294 967 295.

Depuis que l'ordinateur a été inventé par les Américains, seuls 127 caractères ont été initialement codés dans l'ordinateur, qui sont des lettres anglaises majuscules et minuscules, des chiffres et certains symboles. Cette table de codage est appelée codage ASCII, comme les lettres majuscules. Le code de la lettre A est 65 et celui de la lettre minuscule z est 122.

Mais pour traiter le chinois, un octet ne suffit évidemment pas. Au moins deux octets sont nécessaires, et cela ne peut pas entrer en conflit avec le codage ASCII. Par conséquent, la Chine a formulé le codage GB2312 pour coder le chinois.

Ce que vous pouvez imaginer, c'est qu'il existe des centaines de langues​​dans le monde. Le Japon a compilé le japonais dans Shift_JIS, et la Corée du Sud a compilé le coréen dans Euc-kr. et cela apparaîtra inévitablement. Le résultat du conflit est que dans un texte mixte multilingue, des caractères tronqués apparaîtront lors de l'affichage.

Ainsi, Unicode est né. Unicode unifie toutes les langues dans un ensemble d'encodages, il n'y aura donc plus de caractères tronqués.

Le standard Unicode évolue également constamment, mais le plus couramment utilisé est d'utiliser deux octets pour représenter un caractère (si vous souhaitez utiliser des caractères très rares, il vous faut 4 octets). Les systèmes d'exploitation modernes et la plupart des langages de programmation prennent directement en charge Unicode.

Maintenant, examinons la différence entre l'encodage ASCII et l'encodage Unicode : l'encodage ASCII est de 1 octet, tandis que l'encodage Unicode est généralement de 2 octets.

La lettre A codée en ASCII est décimale 65, binaire 01000001;

Le caractère 0 codé en ASCII est décimal 48, binaire 00110000. Notez que le caractère '0' est différent de l'entier. 0 ;

Les caractères chinois ont dépassé la plage de codage ASCII. Le codage Unicode est 20013 en décimal et 01001110 00101101 en binaire.

Vous pouvez deviner que si vous encodez le A codé ASCII en Unicode, il vous suffit d'ajouter 0 devant. Par conséquent, l'encodage Unicode de A est 00000000 01000001.

Un nouveau problème est apparu : s'il est unifié dans le codage Unicode, le problème des caractères tronqués disparaîtra. Cependant, si le texte que vous écrivez est essentiellement entièrement en anglais, le codage Unicode nécessite deux fois plus d'espace de stockage que le codage ASCII, ce qui est très peu économique en termes de stockage et de transmission.

Par conséquent, dans un esprit de conservation, l'encodage UTF-8 qui convertit l'encodage Unicode en « encodage à longueur variable » est apparu. Le codage UTF-8 code un caractère Unicode en 1 à 6 octets selon différentes tailles de nombres. Les lettres anglaises couramment utilisées sont codées en 1 octet, et les caractères chinois font généralement 3 octets. Seuls les caractères très rares seront codés en 1 à 6 octets. Codé en 4 à 6 octets. Si le texte que vous souhaitez transmettre contient un grand nombre de caractères anglais, l'encodage UTF-8 peut économiser de l'espace :

Vous verrez ainsi que le code source de nombreuses pages Web aura quelque chose comme indique que la page Web utilise le codage UTF-8.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!