Python Unicode字符串格式化中的一个陷阱

今天帮同事研究一个莫名其妙的UnicodeDecodeError时发现了Python字符串格式化中的一个小陷阱，在此记录一下。原本的代码过于复杂，有太多与问题无关的东西，所以我在ipython里简单试验复现了问题，过程如下：

In [4]: a = '你好世界'
In [5]: print 'Say this: %s' % a
Say this: 你好世界
In [6]: print 'Say this: %s and say that: %s' % (a, 'hello world')
Say this: 你好世界 and say that: hello world
In [7]: print 'Say this: %s and say that: %s' % (a, u'hello world')
---------------------------------------------------------------------------
UnicodeDecodeError                        Traceback (most recent call last)
/home/jerry/ in ()
UnicodeDecodeError: 'ascii' codec can't decode byte 0xe4 in position 10: ordinal not in range(128)
In [8]: a
Out[8]: '\xe4\xbd\xa0\xe5\xa5\xbd\xe4\xb8\x96\xe7\x95\x8c'

看到In [7]之后的那个很怪异的UnicodeDecodeError没？它和上一句的唯一区别是’hello world‘变成了一个unicode对象而非str对象。但问题是，’hello world’只是单纯的英文字符串，不包含任何ASCII之外的字符，怎么会无法decode呢？再仔细看看异常附带的message，里面提到了0xe4，这个显然不是’hello world‘里面的，所以只能怀疑那句中文了，In [8]把它的字节序列打印了出来，果然就是它，第一个就是0xe4。

看来在字符串格式化的时候Python试图将a decode成unicode对象，并且decode时用的还是默认的ASCII编码而非实际的UTF-8编码。那这又是怎么回事呢？？下面继续我们的试验：

In [9]: 'Say this: %s' % 'hello'
Out[9]: 'Say this: hello'
In [10]: 'Say this: %s' % u'hello'
Out[10]: u'Say this: hello'

仔细看，In [9]中的’hello’是普通的字符串，结果也是字符串（str对象），而In [10]中的’hello’变成了unicode对象，格式化的结果也变成unicode了（注意结果开头的那个u）。

所以真相是这样的：Python在格式化字符串的时候有一些隐藏着的小动作：如果%s对应的参数里有unicode，那么最终的结果也是unicode。在这种情况下模版字符串以及所有的%s参数中的str都会被decode成unicode，然而这个decode是隐式的，用户无法指定其使用的charset，Python只能用默认的ASCII。如果正好里面有非ASCII编码的字符串，就完蛋了……

看看Python文档怎么说的：

If format is a Unicode object, or if any of the objects being converted using the %s conversion are Unicode objects, the result will also be a Unicode object.

如果代码里混合着str和unicode，这种问题很容易出现。在同事的代码里，中文字符串是用户输入的，经过了正确的编码处理，是以UTF-8编码的str对象；但那个惹事的unicode对象，虽然其内容都是ASCII码，但其来源是sqlite3数据库查询的结果，而sqlite的API返回的字符串都是unicode对象，所以导致了这么怪异的结果。

Python 2的str和unicode真的挺坑爹，已经被它们害过好几次了。Python 3在这方面很有提升，期待它的全面普及！