python編碼總結(編碼類型、格式、轉碼)

本文詳細總結了python編碼。分享給大家供大家參考，如下：

【所謂unicode】

unicode是一種類似符號集的抽象編碼，它只規定了符號的二進位代碼，卻沒有規定這個二進位代碼應該如何儲存。也就是它只是一種內部表示，不能直接保存。所以儲存時需要規定一種儲存形式，例如utf-8和utf-16等。理論上unicode是一種能夠容納全世界所有語言文字的程式設計方案。 （其他編碼格式不再多說）

【所謂GB碼】

GB就是「國標」的意思，即：中華人民共和國國家標準。 GB碼是針對漢字的編碼，包括GB2312（GB2312-80），GBK，GB18030，表示範圍從小到大遞增，而且基本上是向下兼容的。另外常常遇到一種叫做CP936的編碼，實際上可以大概看做是GBK。

【判斷編碼】

1、使用isinstance(s, str)來判斷字串是否為一般字串（str為ascii類型的字串， utf-8、utf-16、GB2312、GBK等都是ascii型別的字串）；

使用isinstance(s, unicode)來判斷一個字串是否為unicode編碼形式的字串（unicode編碼的字串才是unicode類型的字串）。

2、使用type()或.__class__

在編碼正確的情況下：

例如：stra = "中", 則使用type(stra)的結果是，表示ascii型別字串；

例如：strb = u"中", 則使用type(strb)的結果是，表示為unicode類型字串。

tmp_str = 'tmp_str'
print tmp_str.__class__   #<type &#39;str&#39;>
print type(tmp_str)    #<type &#39;str&#39;>
print type(tmp_str).__name__ #str
tmp_str = u&#39;tmp_str&#39;
print tmp_str.__class__   #<type &#39;unicode&#39;>
print type(tmp_str)    #<type &#39;unicode&#39;>
print type(tmp_str).__name__ #unicode

3、最好的方法是使用chardet判斷，特別是在web相關的操作中，例如抓取html頁面內容時，頁面的charset標籤只是標示編碼，有時候不對，而且頁面內容中一些中文可能超出了標示編碼的範圍，此時用charset檢測最為方便準確。

（1）安裝辦法：下載chardet後，將解壓縮得到的chardet資料夾放在Python安裝目錄的\Lib\site-packages目錄下，在程式中使用import chardet即可。

（2）使用辦法1：偵測全部內容判斷編碼

import urllib2
import chardet
res = urllib2.urlopen('http://www.php.cn')
res_cont = res.read()
res.close()
print chardet.detect(res_cont) #{'confidence': 0.99, 'encoding': 'utf-8'}

detect函數傳回值為一個包含2個鍵值對的字典，第一個是偵測置信度，第二個就是偵測到的編碼形式。

（3）使用方法2：偵測部分內容判斷編碼，提高速度

import urllib2
from chardet.universaldetector import UniversalDetector
res = urllib2.urlopen('http://www.php.cn')
detector = UniversalDetector()
for line in res.readlines():
 #detect untill reach threshold
 detector.feed(line)
 if detector.done:
  break
detector.close()
res.close()
print detector.result
#{'confidence': 0.99, 'encoding': 'utf-8'}

【轉換編碼】

1、從具體的編碼（ISO-8859-1[ASCII碼]，utf-8，utf-16，GBK，GB2312等）轉換為unicode，直接使用unicode( s, charset)或s.decode(charset)，其中charset為s的編碼（注意unicode在使用decode()時會出錯）；

#将任意字符串转换为unicode
def to_unicode(s, encoding):
 if isinstance(s, unicode):
  return s
 else:
  return unicode(s, encoding)

注意：這裡在decode()的時候，如果遇到非法字元（例如不標準的全角空格\xa3\xa0，或\xa4\x57，真正的全角空格是\xa1\xa1），就會報錯。

解決方法：採用'ignore'模式，即：stra.decode('...', 'ignore').encode('utf-8')。

解釋：decode的函式原型是decode([encoding],[errors='strict'])，可以用第二個參數控制錯誤處理的策略。

預設的參數是strict，代表遇到非法字元時拋出異常；如果設定為ignore，則會忽略非法字元；如果設定為replace，則會用?取代非法字元；如果設定為xmlcharrefreplace ，則使用XML的字元引用。

2、從unicode轉換為具體的編碼，也是直接用s.encode(charset)，其中s為unicode編碼，charset為具體的編碼（注意非unicode在使用encode()時會出錯） ；

3、自然地，從一種具體編碼轉換為另一種具體編碼，就可以先decode成unicode再encode成最終編碼了。

【python命令列編碼（系統編碼）】

用python自帶的locale模組來偵測命令列的預設編碼（也就是係統的編碼）和設定命令列編碼：

import locale
#get coding type
print locale.getdefaultlocale() #('zh_CN', 'cp936')
#set coding type
locale.setlocale(locale.LC_ALL, locale='zh_CN.GB2312')
print locale.getlocale() #('zh_CN', 'gb2312')

#表示目前系統的內部編碼是cp936，近似於GBK。其實中文XP和WIN7的系統內部編碼都是cp936（GBK）。

【python程式碼中的編碼】

1、python程式碼中的字串在未被指定編碼的情況下，預設編碼與程式碼檔案本身的編碼一致。舉個例子：str = '中文'這個字串，如果是在utf8編碼的代碼檔案中，該字串就是utf8編碼；如果是在gb2312的檔案中，該字串就是gb2312編碼。那麼程式碼檔案本身的編碼怎麼知道呢？

（1）自己指定程式碼檔案的編碼：在程式碼檔案的頭部加上「#-*- coding:utf-8 -*-」來宣告該程式碼檔案為utf-8編碼。此時未被指定編碼的字串的編碼都變成了utf-8。

（2）在没有指定代码文件的编码时，创建代码文件时使用的是python默认采用的编码（一般来说是ascii码，在windows中实际保存为cp936（GBK）编码）。通过sys.getdefaultencoding()和sys.setdefaultencoding('...')来获取和设置该默认编码。

import sys
reload(sys)
print sys.getdefaultencoding() #ascii
sys.setdefaultencoding('utf-8')
print sys.getdefaultencoding() #utf-8

结合（1）和（2）做个试验：指定代码文件编码为utf-8时，用notepad++打开显示的是utf-8无DOM编码；未指定代码文件编码时，用notepad++打开显示的是ANSI编码（压缩编码，默认的保存编码形式）。

（3）如何永久地将python默认采用的编码设置为utf-8呢？有2种方法：

第一个方法：编辑site.py，修改setencoding()函数，强制设置为 utf-8；

第二个方法：增加一个名为 sitecustomize.py的文件，存放在安装目录下的\Lib\site-packages目录下

sitecustomize.py是在site.py被import执行的，因为 sys.setdefaultencoding()是在site.py的结尾处被删除的，所以可以在 sitecustomize.py使用 sys.setdefaultencoding()。

2、python代码中的字符串如果被指定了编码，举个例子：str = u'中文'，该字符串的编码被指定为unicode（即python的内部编码）。

（1）这里有个误区需要注意！假如在py文件中有如下代码：

stra = u"中"
print stra.encode("gbk")

按上面说的stra是unicode形式，直接encode称gbk编码应该没问题啊？但是实际执行时会报错“UnicodeEncodeError: 'gbk' codec can't encode character u'\xd6' in position 0: illegal multibyte sequence”。

原因在于：python解释器在导入python代码文件并执行时，会先查看文件头有没有编码声明（例如#coding:gbk等）。如果发现声明，会将文件中的字符串都先解释成unicode的形式（这里先用默认编码gbk（cp936）将stra解码成unicode编码'd6d0'后保存），之后执行stra.encode('gbk')时，由于stra已经是unicode编码且'd6d0'在gbk的编码范围内，所以编码不会出现错误；如果文件头没有编码声明，则不会进行上述过程中的解码操作（这里就直接使用stra的unicode编码'd6'），之后执行stra.encode('gbk')时，由于'd6'不在gbk的编码范围所以报错。

（2）为避免这种类型的错误，最好在代码文件头上声明编码，或者麻烦点每次使用setdefaultencoding()。

（3）总的来说就是unicode是python解释器的内码，所有代码文件在导入并执行时，python解释器会先将字符串使用你指定的编码形式解码成unicode，然后再进行各种操作。所以不管是对字符串的操作，还是正则表达式，还是读写文件等等最好都通过unicode来进行。

【python中其他编码】

文件系统的编码：sys.getfilesystemencoding()
终端的输入编码：sys.stdin.encoding
终端的输出编码：sys.stdout.encoding

更多python編碼總結(編碼類型、格式、轉碼)相关文章请关注PHP中文网！