Python 正确处理 Unicode 字符串的方式-Python教程-PHP中文网

Python 2 中 str 是字节序列、unicode 才是字符串，Python 3 中 str 是 Unicode、bytes 才是字节；混用导致多数 Unicode 错误，读写文件必须显式指定 encoding，HTTP 响应应优先用 content + 显式 decode，正则需加 re.U 处理中文。

python 正确处理 unicode 字符串的方式

Python 2 和 Python 3 对 `str` 的理解完全不同

Python 2 把 str 当字节序列，unicode 才是真正的字符串；Python 3 反过来：str 是 Unicode 字符串，bytes 才是字节。混用这两者是绝大多数 Unicode 错误的根源。

读文件不加 encoding 参数？默认用系统 locale 解码，Windows 上常是 cp1252，Linux/macOS 上可能是 utf-8 或 ascii —— 同一份代码在不同机器上可能突然报 UnicodeDecodeError
open('file.txt').read() 在 Python 3 中返回 str，但底层读的是字节，它会悄悄用 locale.getpreferredencoding() 去 decode —— 这个值不可靠
用 str.encode() 而不指定编码？默认用 utf-8，但如果你后续要写入数据库或发 HTTP 请求，而对方期望 latin-1 或 gbk，就会出错

读写文件必须显式声明 `encoding`

除非你明确知道自己在处理二进制数据，否则所有文本 I/O 都该带 encoding='utf-8'（或其它确定编码）。

写文件时漏掉 encoding：Python 3 会用 locale 编码写入，中文可能变成乱码，且无法被其他 UTF-8 工具正确读取
读 CSV 文件用 pandas.read_csv() 却没传 encoding？常见报错 UnicodeDecodeError: 'utf-8' codec can't decode byte 0xd6 in position 123 —— 实际文件是 gbk 编码
用 with open(path, 'w') as f: 写中文却没指定 encoding，Python 3 可能用 utf-8 写成功，但 Windows 记事本默认用 ansi 打开，显示为乱码 —— 这不是 Python 错，是你没控制输出编码

示例：

Python Hardener

通过完整的安全审查、代码整洁重构、健壮的错误处理、正确的日志记录以及完整的文档字符串覆盖，强化 Python 脚本。

下载

with open('data.txt', 'r', encoding='utf-8') as f:
    text = f.read()  # 安全
<p>with open('out.csv', 'w', encoding='gbk') as f:
f.write('姓名,年龄\n张三,25')  # 明确适配目标环境</p>