python2.xのデフォルトエンコーディングの問題の解決策

python2.x で中国語を処理するのは頭痛の種です。インターネット上でこの分野に書かれた記事はテストが不均一で、常に間違いがあるため、自分で記事を要約する予定です。

このブログも今後勉強しながら修正していきます。

この記事では、utf-8 とは何か、unicode とは何か、それらの関係は何かなど、エンコードに関する基本的な知識をすでに持っていることを前提としています。
str と bytecode

まず第一に、Unicode についてはまったく話さないようにしましょう。

s = "人生苦短"

s は string であり、それ自体がバイトコードを格納します。では、このバイトコードの形式は何でしょうか?

このコードがインタープリターに入力された場合、この s の形式は、Windows cmd の場合は gbk です。

コードの一部が保存されてから実行される場合、たとえばコードが utf-8 として保存されている場合、インタープリターがこのプログラムをロードすると、 s は utf-8 エンコーディングに初期化されます。
unicode と str

Unicode はエンコーディング標準であることはわかっています。具体的な実装標準は utf-8、utf-16、gbk である可能性があります。 str の代わりに Unicode オブジェクトを使用するのは、Unicode がクロスプラットフォームに便利であるという点です。

次の 2 つの方法で Unicode を定義できます:

s1 = u"人生苦短"
s2 = unicode("人生苦短", "utf-8")

エンコードとデコード

Python でのエンコードとデコードは次のようになります:

したがって、次のようなコードを書くことができます:

# -*- coding:utf-8 -*-
su = "人生苦短"
# ： su是一个utf-8格式的字节串
u = s.decode("utf-8")
# ： s被解码为unicode对象，赋给u
sg = u.encode("gbk")
# ： u被编码为gbk格式的字节串，赋给sg
print sg
# 打印sg

しかし、現実はこれよりも複雑です。たとえば、次のコードを見てください。 str もエンコードできます (実際、Unicode オブジェクトもデコードできますが、あまり意味がありません)

なぜこれで大丈夫なのでしょうか?上の図のエンコード プロセスの矢印を見ると、str をエンコードするとき、まずデフォルトのエンコードを使用して Unicode にデコードされ、次に指定したエンコードに Unicode がエンコードされるという原理を考えることができます。

これは、Python2で中国語を処理するときにほとんどのエラーが発生する理由につながります
: UnicodeDecodeError: 'ascii' codec can't decode byte...

defaultencodingを指定していないため、実際には次のようなことを行っています。 :

s = "人生苦短"
s.encode('gbk')

デフォルトエンコーディングを設定する

デフォルトエンコーディングを設定するコードは次のとおりです:

# -*- coding: utf-8 -*-
s = "人生苦短"
s.encode('gbk')

Pythonでエンコードおよびデコードするときにエンコード方法を指定しない場合、Pythonはdefaultencodingを使用します。

たとえば、前のセクションの例で str が別の形式にエンコードされている場合、defaultencoding が使用されます。

# -*- coding: utf-8 -*-
s = "人生苦短"
s.decode('ascii').encode('gbk')

別の例として、str を使用して Unicode オブジェクトを作成する場合、この str のエンコード形式を指定しない場合、プログラムもdefaultencoding を使用します。

reload(sys)
sys.setdefaultencoding('utf-8')

デフォルトのエンコーディング: ascii は多くのエラーの原因となるため、デフォルトのエンコーディングを早めに設定することは良い習慣です。

ファイルヘッダーはエンコードの役割を宣言します。

Pythonファイルのヘッダー部分に関する知識を説明してくださったこのブログに感謝します。

一番上: # -*-coding: utf-8 -*- 現在3つの関数があるようです。

コード内に中国語の
コメント

がある場合、このステートメントが必要です

より高度な エディター (私の emacs など) は、ヘッダー ステートメントに基づいてコード ファイルの形式としてこれを使用します。

プログラムは、Unicode オブジェクトなどのヘッダー宣言を通じて u "Life is short" をデコードして初期化します (したがって、ヘッダー宣言とコードの格納形式は一貫している必要があります)

リクエスト ライブラリについて

リクエストは非常に実用的な Python HTTP クライアント ライブラリで、クローラを作成したりサーバー応答データをテストしたりするときによく使用されます。
Request オブジェクトは、サーバーにアクセスした後、Response オブジェクトを返します。このオブジェクトは、返された Http 応答のバイトコードを content 属性に保存します。 しかし、別の属性テキストにアクセスするとunicodeオブジェクトが返され、ここで文字化けがよく発生します。

なぜなら、Response オブジェクトは別の属性エンコーディングを通じてバイトコードを Unicode にエンコードし、このエンコーディング属性は実際には応答自体によって推測されるからです。

官方文档：

    text
    Content of the response, in unicode.

    If Response.encoding is None, encoding will be guessed using chardet.

    The encoding of the response content is determined based solely on HTTP headers, following RFC 2616 to the letter. If you can take advantage of non-HTTP knowledge to make a better guess at the encoding, you should set r.encoding appropriately before accessing this property.

所以要么你直接使用content(字节码)，要么记得把encoding设置正确，比如我获取了一段gbk编码的网页,就需要以下方法才能得到正确的unicode。
 

import requests
url = "http://xxx.xxx.xxx"
response = requests.get(url)
response.encoding = 'gbk'
  
print response.text

如果是早期的我写博客，那么我一定会写这样的例子：不仅仅要原理，更要使用方法！

如果现在的文件编码为gbk,然后文件头为：# -*- coding: utf-8 -*-，再将默认编码设置为xxx，那么如下程序的结果会是……

这就类似于，当年学c的时候，用各种优先级，结合性，指针来展示自己水平的代码。

实际上这些根本就不实用，谁会在真正的工作中写这样的代码呢？我在这里想谈谈实用的处理中文的python方法。

基本设置

主动设置defaultencoding。（默认的是ascii）

代码文件的保存格式要与文件头部的# coding:xxx一致

如果是中文，程序内部尽量使用unicode，而不用str

关于打印

你在打印str的时候，实际就是直接将字节流发送给shell。如果你的字节流编码格式与shell的编码格式不相同，就会乱码。

而你在打印unicode的时候，系统自动将其编码为shell的编码格式，是不会出现乱码的。

程序内外要统一

如果说程序内部要保证只用unicode，那么在从外部读如字节流的时候，一定要将这些字节流转化为unicode，在后面的代码中去处理unicode，而不是str。

with open("test") as f:
 for i in f:
 # 将读入的utf-8字节流进行解码
 u = i.decode('utf-8')
 ....

如果把连接程序内外的这段数据流比喻成通道的的话，那么与其将通道开为字节流，读入后进行解码，不如直接将通道开为unicode的。

# 使用codecs直接开unicode通道
file = codecs.open("test", "r", "utf-8")
for i in file:
 print type(i)
 # i的类型是unicode的

所以python处理中文编码问题的关键是你要清晰的明白，自己在干什么，打算读入什么格式的编码，声明的的这些字节是什么格式的，str到unicode是如何转换的，str的一种编码到另一种编码又是如何进行的。 还有，你不能把问题变得混乱，要自己主动去维护一种统一。

 

python 3和2很大区别就是python本身改为默认用unicode编码。

字符串不再区分"abc"和u"abc", 字符串"abc"默认就是unicode，不再代表本地编码、

由于有这种内部编码，像c#和java类似，再没有必要在语言环境内做类似设置编码，比如“sys.setdefaultencoding”;

也因此也python 3的代码和包管理上打破了和2.x的兼容。2.x的扩展包要适应这种情况改写。

另一个问题是语言环境内只有unicode怎么输出gbk之类的本地编码。

1.如果你在Python中进行编码和解码的时候，不指定编码方式，那么python就会使用defaultencoding。 而python2.x的的defaultencoding是ascii,

这也就是大多数python编码报错：“UnicodeDecodeError: 'ascii' codec can't decode byte ......”的原因。

 

2.关于头部的# coding：utf-8,有以下几个作用 2.1如果代码中有中文注释，就需要此声明 2.2比较高级的编辑器（比如我的emacs），会根据头部声明，将此作为代码文件的格式。 2.3程序会通过头部声明，解码初始化 u"人生苦短"，这样的unicode对象，（所以头部声明和代码的存储格式要一致）

python2.7以后不用setdefaultencoding了，这两个是没有区别的

这两个作用不一样, 1. # coding:utf-8 作用是定义源代码的编码. 如果没有定义, 此源码中是不可以包含中文字符串的. PEP 0263 -- Defining Python Source Code Encodings https://www.python.org/dev/peps/pep-0263/ 2. sys.getdefaultencoding() 是设置默认的string的编码格式

答按惯例都在(序列化)输出时才转换成本地编码。

以上がpython2.xのデフォルトエンコーディングの問題の解決策の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。