Über chinesische Codierungsprobleme in Python

Der Inhalt dieses Artikels befasst sich mit chinesischen Codierungsproblemen in Python. Jetzt kann ich ihn mit Ihnen teilen.

1. Chinesische Kodierungsprobleme in Python

1.1 Kodierung in .py-Dateien

Pythons Standardskriptdateien sind alle ANSCII-kodiert. Wenn die Datei Zeichen enthält, die nicht im ANSCII-Kodierungsbereich liegen, müssen Sie die „Kodierungsanweisungen“ verwenden, um dies zu korrigieren. Wenn die .py-Datei in der Definition eines Moduls chinesische Zeichen enthält (streng genommen enthält sie Nicht-Anscii-Zeichen), müssen Sie die Codierungsanweisung in der ersten oder zweiten Zeile angeben:

# -* -kodierung =utf-8 -*-oder #coding=utf-8 Andere Kodierungen wie: gbk, gb2312 sind ebenfalls akzeptabel; andernfalls wird eine ähnliche Meldung angezeigt: SyntaxError: Nicht-ASCII-Zeichen '/xe4' in Datei ChineseTest.py in Zeile 1, aber keine Kodierung deklariert; Einzelheiten finden Sie unter http://www.pytho/peps/pep-0263.html

1.2 Kodierung und Dekodierung in Python

Lassen Sie uns zunächst über die Zeichenfolgentypen in Python sprechen, nämlich str und Unicode. Sie sind beide abgeleitete Klassen von Basiszeichenfolgen (mindestens) Eine Folge von 8-Bit-Bytes; jede Einheit von Unicode ist ein Unicode-Objekt, also:

len(u'China')-Wert ist ebenfalls 2 ;

In der Dokumentation von str gibt es diesen Satz: Der String-Datentyp wird auch zur Darstellung von Byte-Arrays verwendet, z. B. zum Speichern von aus einer Datei gelesenen Daten Eine Datei oder beim Lesen von Inhalten aus dem Netzwerk ist das verwaltete Objekt vom Typ str. Wenn Sie einen str in einen bestimmten Codierungstyp konvertieren möchten, müssen Sie str in Unicode konvertieren und dann von Unicode in einen bestimmten Codierungstyp konvertieren wie zum Beispiel: utf-8, gb2312 usw.;

Konvertierungsfunktionen in Python:

Unicode zu gb2312, utf-8 usw.

# -*- coding=UTF-8 -*-
if __name__ == '__main__': 
   s = u'中国'    
   s_gb = s.encode('gb2312')

utf- 8, GBK in Unicode mit der Funktion unicode (s,encoding) oder s.decode(encoding)

# -*- coding=UTF-8 -*-
if __name__ == '__main__':    s = u'中国'
    #s为unicode先转为utf-8
    s_utf8 =  s.encode('UTF-8')
    assert(s_utf8.decode('utf-8') == s)

Konvertieren Sie gewöhnliche str in Unicode

# -*- coding=UTF-8 -*-
if __name__ == '__main__':    s = '中国'
    su = u'中国''
    #s为unicode先转为utf-8
    #因为s为所在的.py(# -*- coding=UTF-8 -*-)编码为utf-8
    s_unicode =  s.decode('UTF-8')
    assert(s_unicode == su)
    #s转为gb2312,先转为unicode再转为gb2312
    s.decode('utf-8').encode('gb2312')
    #如果直接执行s.encode('gb2312')会发生什么？
    s.encode('gb2312')
 
# -*- coding=UTF-8 -*-
if __name__ == '__main__':    s = '中国'
    #如果直接执行s.encode('gb2312')会发生什么？
    s.encode('gb2312')

Hier tritt eine Ausnahme auf:

Python dekodiert s automatisch zuerst in Unicode und kodiert sie dann in gb2312. Da die Dekodierung automatisch von Python durchgeführt wird und wir die Dekodierungsmethode nicht angeben, verwendet Python zum Dekodieren die von sys.defaultencoding angegebene Methode. In vielen Fällen ist sys.defaultencoding ANSCII und es tritt ein Fehler auf, wenn s nicht von diesem Typ ist.
Nehmen Sie die obige Situation als Beispiel. Mein sys.defaultencoding ist ancii und die Codierungsmethode von s stimmt mit der Codierungsmethode der Datei überein, die utf8 ist, sodass ein Fehler aufgetreten ist: UnicodeDecodeError: 'ascii' codec can 't decode byte 0xe4 in position 0: ordinal not in range(128)
In diesem Fall haben wir zwei Möglichkeiten, den Fehler zu korrigieren:
Eine besteht darin, die Kodierungsmethode von s klar anzugeben

#! /usr/bin/env python 
# -*- coding: utf-8 -*- 
s = '中文' 
s.decode('utf-8').encode('gb2312')

Die zweite besteht darin, sys.defaultencoding in die Kodierungsmethode der Datei zu ändern

#! /usr/bin/env python 
# -*- coding: utf-8 -*- 
import sys 
reload(sys) # Python2.5 初始化后会删除 sys.setdefaultencoding 这个方法，我们需要重新载入 
sys.setdefaultencoding('utf-8') 
str = '中文' 
str.encode('gb2312')

Dateikodierung und -druck Funktion
wird erstellt Eine Datei test.txt, das Dateiformat ist ANSI, der Inhalt ist:
abc Chinesisch
Verwenden Sie Python zum Lesen
# programming=gbk
drucken öffnen( "Test.txt").read()
Ergebnis: abc Chinesisch
Ändern Sie das Dateiformat in UTF-8:
Ergebnis: abc涓枃
Hier ist natürlich eine Dekodierung erforderlich:

# coding=gbk
import codecs
print open("Test.txt").read().decode("utf-8")

Ergebnis: abc Chinesisch
Ich habe Editplus verwendet, um die obige test.txt zu bearbeiten, aber als ich den integrierten Notepad von Windows verwendet habe, um sie zu bearbeiten und im UTF-8-Format zu speichern,
Beim Ausführen ist ein Fehler aufgetreten:

Traceback (most recent call last):
  File "ChineseTest.py", line 3, in <module>
    print open("Test.txt").read().decode("utf-8")
UnicodeEncodeError: &#39;gbk&#39; codec can&#39;t encode character u&#39;/ufeff&#39; in position 0: illegal multibyte sequence

Es stellt sich heraus, dass einige Software, wie z. B. Notepad, drei unsichtbare Zeichen (0xEF 0xBB 0xBF oder BOM) am Anfang der Datei einfügt beim Speichern einer in UTF-8 codierten Datei.
Also müssen wir diese Zeichen beim Lesen selbst entfernen. Das Codecs-Modul in Python definiert diese Konstante:

# coding=gbk
import codecs
data = open("Test.txt").read()
if data[:3] == codecs.BOM_UTF8:
 data = data[3:]
print data.decode("utf-8")

Ergebnis: abc Chinesisch

(4) Einige verbleibende Probleme
Im zweiten Teil verwenden wir die Unicode-Funktion und die Dekodiermethode, um str in Unicode umzuwandeln. Warum verwenden die Parameter dieser beiden Funktionen „gbk“?
Die erste Reaktion ist, dass wir gbk (# programming=gbk) in unserer Codierungsanweisung verwenden, aber ist das wirklich der Fall?
Ändern Sie die Quelldatei:

# coding=utf-8
s = "中文"
print unicode(s, "utf-8")

Ausführen, Fehlermeldung:

Traceback (most recent call last):
  File "ChineseTest.py", line 3, in <module>
    s = unicode(s, "utf-8")
UnicodeDecodeError: &#39;utf8&#39; codec can&#39;t decode bytes in position 0-1: invalid data

Natürlich ist die Vorderseite normal, da auf beiden GBK verwendet wird Seiten, dann habe ich hier die UTF-8-Konsistenz auf beiden Seiten beibehalten, und es sollte normal sein, ohne einen Fehler zu verursachen.
Ein weiteres Beispiel, wenn wir hier noch gbk zur Konvertierung verwenden:

# coding=utf-8
s = "中文"
print unicode(s, "gbk")

Ergebnis: Chinesisch

Druckprinzip in Python:
Wenn Python einen Druck ausführt Wenn Sie eine Anweisung ausführen, wird die Ausgabe einfach an das Betriebssystem übergeben (mithilfe von fwrite() oder etwas Ähnlichem), und ein anderes Programm ist dafür verantwortlich, diese Ausgabe tatsächlich auf dem Bildschirm anzuzeigen. Unter Windows könnte es beispielsweise das Windows-Konsolensubsystem sein Das zeigt das Ergebnis an. Oder wenn Sie Windows verwenden und Python auf einer Unix-Box an einem anderen Ort ausführen, ist Ihr Windows-SSH-Client tatsächlich für die Anzeige der Daten verantwortlich. Wenn Sie Python in einem xterm unter Unix ausführen, dann sind xterm und Ihr X Server übernimmt die Anzeige.

　　To print data reliably, you must know the encoding that this display program expects.

简单地说，python中的print直接把字符串传递给操作系统，所以你需要把str解码成与操作系统一致的格式。Windows使用CP936(几乎与gbk相同)，所以这里可以使用gbk。
最后测试：

# coding=utf-8
s = "中文"
rint unicode(s, "cp936")
# 结果：中文

这也可以解释为何如下输出不一致：

>>> s="哈哈"
>>> s'
\xe5\x93\x88\xe5\x93\x88'
>>> print s  #这里为啥就可以呢? 见上文对print的解释
哈哈>>> import sys
>>> sys.getdefaultencoding() '
ascii'
>>> print s.encode('utf8')  # s在encode之前系统默认按ascii模式把s解码为unicode，然后再encode为utf8
Traceback (most recent call last):
File "<stdin>", line 1, in ?
UnicodeDecodeError: &#39;ascii&#39; codec can&#39;t decode byte 0xe5 in position 0: ordinal not in range(128)
>>> print s.decode(&#39;utf-8&#39;).encode(&#39;utf8&#39;)
哈哈
>>>

编码问题测试

使用 chardet 可以很方便的实现字符串/文件的编码检测

例子如下:

>>>
 import
 urllib>>>
 rawdata = urllib.urlopen('http://www.google.cn/').read()>>>
 import
 chardet
>>>
 chardet.detect(rawdata){'confidence': 0.98999999999999999, 'encoding': 'GB2312'}>>>

chardet 下载地址 http://chardet.feedparser.org/

特别提示：

在工作中，经常遇到，读取一个文件，或者是从网页获取一个问题，明明看着是gb2312的编码，可是当使用decode转时，总是出错，这个时候，可以使用decode('gb18030')这个字符集来解决，如果还是有问题，这个时候，一定要注意，decode还有一个参数，比如，若要将某个String对象s从gbk内码转换为UTF-8，可以如下操作 
s.decode('gbk').encode('utf-8′) 
可是，在实际开发中，我发现，这种办法经常会出现异常： 
UnicodeDecodeError: ‘gbk' codec can't decode bytes in position 30664-30665: illegal multibyte sequence 
这 是因为遇到了非法字符——尤其是在某些用C/C++编写的程序中，全角空格往往有多种不同的实现方式，比如/xa3/xa0，或者/xa4/x57，这些 字符，看起来都是全角空格，但它们并不是“合法”的全角空格（真正的全角空格是/xa1/xa1），因此在转码的过程中出现了异常。 
这样的问题很让人头疼，因为只要字符串中出现了一个非法字符，整个字符串——有时候，就是整篇文章——就都无法转码。 
解决办法： 

s.decode('gbk', ‘ignore').encode('utf-8′)

因为decode的函数原型是decode([encoding], [errors='strict'])，可以用第二个参数控制错误处理的策略，默认的参数就是strict，代表遇到非法字符时抛出异常； 
如果设置为ignore，则会忽略非法字符； 
如果设置为replace，则会用?取代非法字符； 
如果设置为xmlcharrefreplace，则使用XML的字符引用。 

python文档 

decode( [encoding[, errors]]) 
Decodes the string using the codec registered for encoding. encoding defaults to the default string encoding. errors may be given to set a different error handling scheme. The default is 'strict', meaning that encoding errors raise UnicodeError. Other possible values are 'ignore', 'replace' and any other name registered via codecs.register_error, see section 4.8.1. 
详细出处参考：http://www.jb51.net/article/16104.htm

参考文献

【1】Python编码转换

【2】全角半角转换的Python实现

【3】Python编码实现

Das obige ist der detaillierte Inhalt vonÜber chinesische Codierungsprobleme in Python. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!