Detaillierte Erläuterung der Unterschiede und Nutzungsanalyse zwischen str und Unicode bei der Python-Codierungsverarbeitung

Verwenden Sie Python, um Chinesisch zu verarbeiten, beim Lesen von Dateien oder Nachrichten, wenn verstümmelte Zeichen (Zeichenfolge gefunden werden), Dateien lesen und schreiben, print), was die meisten Leute zum Debuggen aufrufen, ohne explizit darüber nachzudenken, warum verstümmelte Zeichen auftreten. Heute werden wir besprechen, wie man mit Codierungsproblemen umgeht.

Hinweis: Die folgende Diskussion bezieht sich auf Python2.

Zunächst einmal

muss ein allgemeines Konzept vorliegen und den

Traceback (most recent call last): File "<stdin>", line 1, in <module> UnicodeDecodeError: ‘ascii‘ codec can‘t decode byte 0xe6 in position 0: ordinal not in range(128)

Zeichensatz, Zeichenkodierung

Unicode |.

Traceback (most recent call last): File "<stdin>", line 1, in <module> File "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/encodings/utf_8.py", line 16, in decode     return codecs.utf_8_decode(input, errors, True) UnicodeEncodeError: ‘ascii‘ codec can‘t encode characters in position 0-1: ordinal not in range(128)

Hinweise zur Zeichenkodierung: ASCII, Unicode und UTF-8

str und unicode str und unicode sind beide Unterklassen von base

string

Es gibt also eine Möglichkeit zu bestimmen, ob es sich um einen String handelt

def is_str(s): return isinstance (s, Basiszeichenfolge)

str und Unicode-Konvertierung str -> unicode unicode -> encode('the_coding_you_want') -> 🎜>

Differenz

str ist eine Bytefolge, die von Unicode übergeben wird

Deklarationsmethode bestehend aus codierten Bytes

Ermitteln Sie die Länge (geben Sie die Anzahl zurück). Bytes)

Unicode ist die wahre Bedeutung Eine Zeichenfolge bestehend aus Zeichen

Deklarationsmethode

>>> s = ‘中文‘ s = u‘中文‘.encode(‘utf-8‘)  
>>> type(‘中文‘) <type ‘str‘>

Finden Sie die Länge (geben Sie die Anzahl der Zeichen zurück), was Sie möchten wirklich in der Logik verwenden

>>> u‘中文‘.encode(‘utf-8‘) ‘\xe4\xb8\xad\xe6\x96\x87‘ 
>>> len(u‘中文‘.encode(‘utf-8‘)) 
6

Fazit

Finden Sie heraus, ob Sie str oder Unicode verarbeiten möchten, und verwenden Sie die richtige Verarbeitungsmethode (str.decode/unicode.encode)

Das Folgende ist die Methode, um festzustellen, ob es Unicode/str ist

>>> s = u‘中文‘ 
>>> s = ‘中文‘.decode(‘utf-8‘) 
>>> s = unicode(‘中文‘, ‘utf-8‘)  
>>> type(u‘中文‘) <type ‘unicode‘>

Einfaches Prinzip: Verwenden Sie nicht encode für str und nicht decode für Unicode (tatsächlich ist str kann codiert werden, Einzelheiten siehe am Ende. Aus Gründen der Einfachheit wird dies nicht empfohlen Dateiverarbeitung

>>> u‘中文‘ u‘\u4e2d\u6587‘ 
>>> len(u‘中文‘) 
2

, IDE und Konsole

Verarbeitungsablauf, kann so verwendet werden, stellen Sie sich Python als Pool vor, ein Eingang, ein Ausgang

Am Eingang wird alles in konvertiert Unicode, am Pool wird alles mit Unicode verarbeitet, am Ausgang wird es in die Zielkodierung konvertiert (natürlich gibt es Ausnahmen und in der Verarbeitungslogik müssen bestimmte Kodierungen verwendet werden) )

Lesen Datei Externe Eingabekodierung, in Unicode dekodieren Verarbeitung (interne Kodierung, einheitlicher Unicode) In die erforderliche Zielkodierung kodieren In Zielausgabe (Datei oder Konsole) schreiben

>>> isinstance(u‘中文‘, unicode) True 
>>> isinstance(‘中文‘, unicode) False  
>>> isinstance(‘中文‘, str) True 
>>> isinstance(u‘中文‘, str) False

IDE und Die Konsole meldet einen Fehler Beim Drucken stimmt die Kodierung nicht mit der IDE-eigenen Kodierung überein.

>>> ‘中文‘.encode(‘utf-8‘) 
Traceback (most recent call last): File "", line 1, in  UnicodeDecodeError: ‘ascii‘ codec can‘t decode byte 0xe4 in position 0: ordinal not in range(128)  
>>> u‘中文‘.decode(‘utf-8‘) 
Traceback (most recent call last): File "<stdin>", line 1, in <module> File "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/encodings/utf_8.py", line 16, in decode     return codecs.utf_8_decode(input, errors, True) UnicodeEncodeError: ‘ascii‘ codec can‘t encode characters in position 0-1: ordinal not in range(128)

Konvertieren Sie die Kodierung bei der Ausgabe in eine konsistente, und die Ausgabe kann normal sein

#s是code_A的str s.decode(‘code_A‘).encode(‘code_B‘)

Vorschlag

Standardkodierung

Einheitliche Kodierung, um durch einen bestimmten Link verursachte verstümmelte Zeichen zu verhindern

Umgebungskodierung, IDE/Text

Editor

, Dateikodierung, Datenbankdatentabellenkodierung

Stellen Sie die Kodierung der Codequelldatei sicher

Dies ist sehr wichtig

Die Standardkodierung der py-Datei ist ASCII. Wenn in der Quellcodedatei Nicht-ASCII-Zeichen verwendet werden, müssen diese verwendet werden im Dateikopf codiert Deklarationsdokument

>>> print u‘中文‘.encode(‘gbk‘) ???? 
>>> print u‘中文‘.encode(‘utf-8‘) 中文

Wenn nicht deklariert, treten bei der Eingabe von Nicht-ASCII-Dateien Fehler auf, die in der ersten oder zweiten Zeile der Datei

Deklaration platziert werden müssen Methode

Wenn der Header „coding=utf-8, a = ‚Chinese‘“ deklariert, ist seine Codierung utf-8Wenn der Header „coding=gb2312, a = „Chinese“ deklariert ', seine Kodierung ist gbk

also haben alle Quelldatei-Header im selben Projekt eine einheitliche Kodierung, und die deklarierte Kodierung muss mit der in der Quelldatei gespeicherten Kodierung übereinstimmen (bezogen auf den Editor)

wird als hartcodierte Zeichenfolge für die Verarbeitung im Quellcode verwendet, einheitlich Unicode verwenden

将其类型和源文件本身的编码隔离开, 独立无依赖方便流程中各个位置处理

if s == u‘中文‘:  #而不是 s == ‘中文‘     pass #注意这里 s到这里时，确保转为unicode

以上几步搞定后，你只需要关注两个 unicode和 你设定的编码(一般使用utf-8)

处理顺序

1. Decode early 2. Unicode everywhere 3. Encode later 

相关模块及一些方法

获得和设置系统默认编码

>>> import sys 
>>> sys.getdefaultencoding() ‘ascii‘  
>>> reload(sys) <module ‘sys‘ (built-in)> 
>>> sys.setdefaultencoding(‘utf-8‘) 
>>> sys.getdefaultencoding() ‘utf-8‘ 
>>> str.encode(‘other_coding‘)

在python中，直接将某种编码的str进行encode成另一种编码str

#str_A为utf-8 str_A.encode(‘gbk‘)  执行的操作是 str_A.decode(‘sys_codec‘).encode(‘gbk‘) 这里sys_codec即为上一步 sys.getdefaultencoding() 的编码 

‘获得和设置系统默认编码‘和这里的str.encode是相关的，但我一般很少这么用，主要是觉得复杂不可控,还是输入明确decode，输出明确encode来得简单些

chardet

文件编码检测，下载

>>> import chardet 
>>> f = open(‘test.txt‘,‘r‘) 
>>> result = chardet.detect(f.read()) 
>>> result {‘confidence‘: 0.99, ‘encoding‘: ‘utf-8‘}

\u字符串转对应unicode字符串

>>> u‘中‘ u‘\u4e2d‘  
>>> s = ‘\u4e2d‘ 
>>> print s.decode(‘unicode_escape‘) 中  
>>> a = ‘\\u4fee\\u6539\\u8282\\u70b9\\u72b6\\u6001\\u6210\\u529f‘ 
>>> a.decode(‘unicode_escape‘) u‘\u4fee\u6539\u8282\u70b9\u72b6\u6001\u6210\u529f‘

Das obige ist der detaillierte Inhalt vonDetaillierte Erläuterung der Unterschiede und Nutzungsanalyse zwischen str und Unicode bei der Python-Codierungsverarbeitung. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!