Python 인코딩 처리에서 str과 Unicode의 차이점과 사용법 분석에 대한 자세한 설명

python을 사용하여 중국어를 처리합니다. 파일을 읽을 때 또는 메시지를 읽을 때, 잘못된 문자(문자열가 있는 경우), 파일을 읽고 쓸 때 print), 대부분의 사람들은 왜곡된 문자가 나타나는 이유에 대해 명시적으로 생각하지 않고 디버깅을 위해 인코딩/디코딩을 호출하는 것입니다. 오늘은 인코딩 문제를 처리하는 방법에 대해 논의하겠습니다.

참고: 다음 논의는 Python2에 대한 것입니다.

Traceback (most recent call last): File "<stdin>", line 1, in <module> UnicodeDecodeError: ‘ascii‘ codec can‘t decode byte 0xe6 in position 0: ordinal not in range(128)

우선

일반적인 개념이 있어야 하며

문자 집합

을 이해해야 합니다. 문자 인코딩

ASCII | UTF-8 | 등

문자 인코딩 참고 사항: ASCII, 유니코드 및 UTF-8str 및 유니코드

str과 unicode는 모두 base

string

의 하위 클래스이므로 문자열인지 확인하는 방법이 있습니다

def is_str(s): return isinstance(s, basestring) str 및 유니코드 변환

str -> decode('the_coding_of_str') -> encode('the_coding_you_want') -> 🎜>차이

str은 유니코드로 인코딩된 바이트 문자열입니다.

다음 바이트로 구성된 선언 방법

Traceback (most recent call last): File "<stdin>", line 1, in <module> File "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/encodings/utf_8.py", line 16, in decode     return codecs.utf_8_decode(input, errors, True) UnicodeEncodeError: ‘ascii‘ codec can‘t encode characters in position 0-1: ordinal not in range(128)

길이 찾기(바이트 수 반환)

>>> s = ‘中文‘ s = u‘中文‘.encode(‘utf-8‘)  
>>> type(‘中文‘) <type ‘str‘>

유니코드는 문자로 구성된 실제 문자열입니다

선언 방법

>>> u‘中文‘.encode(‘utf-8‘) ‘\xe4\xb8\xad\xe6\x96\x87‘ 
>>> len(u‘中文‘.encode(‘utf-8‘)) 
6

로직에서 실제로 사용하려는 길이(문자 수 반환)를 찾습니다.

>>> s = u‘中文‘ 
>>> s = ‘中文‘.decode(‘utf-8‘) 
>>> s = unicode(‘中文‘, ‘utf-8‘)  
>>> type(u‘中文‘) <type ‘unicode‘>

결론

str이 여전히 유니코드인 경우 처리해야 할 사항을 이해하고 올바른 처리 방법(str.decode/unicode.encode)을 사용하십시오.

다음 방법은 다음과 같습니다. 유니코드/str인지 확인하려면

>>> u‘中文‘ u‘\u4e2d\u6587‘ 
>>> len(u‘中文‘) 
2

간단한 원칙: str에 대해 인코딩을 사용하지 마십시오. 유니코드에 대해 디코드를 사용하지 마십시오(실제로 str을 인코딩할 수 있습니다. 자세한 내용은 끝을 참조하세요.) , 권장하지 않음)

>>> isinstance(u‘中文‘, unicode) True 
>>> isinstance(‘中文‘, unicode) False  
>>> isinstance(‘中文‘, str) True 
>>> isinstance(u‘中文‘, str) False

다른 인코딩 변환의 경우 유니코드를 중간 인코딩으로 사용

>>> ‘中文‘.encode(‘utf-8‘) 
Traceback (most recent call last): File "", line 1, in  UnicodeDecodeError: ‘ascii‘ codec can‘t decode byte 0xe4 in position 0: ordinal not in range(128)  
>>> u‘中文‘.decode(‘utf-8‘) 
Traceback (most recent call last): File "<stdin>", line 1, in <module> File "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/encodings/utf_8.py", line 16, in decode     return codecs.utf_8_decode(input, errors, True) UnicodeEncodeError: ‘ascii‘ codec can‘t encode characters in position 0-1: ordinal not in range(128)

파일 처리

, IDE 및 콘솔

처리 flow는 이렇게 사용할 수 있습니다. Python을 풀, 입구 및 출구로 생각하십시오

입구에서는 모두 유니코드로 변환되고, 풀의 모든 것은 출구에서 유니코드를 사용하여 처리되며, 그런 다음 대상 인코딩으로 변환합니다(물론 예외가 있으며 처리 로직에서 특정 인코딩을 사용해야 합니다)

파일 외부 입력 인코딩을 읽고 유니코드로 디코딩하여 처리합니다(내부 인코딩, 통합 유니코드) 인코딩은 필요한 대상 인코딩으로 변환되어 대상 출력(파일 또는 콘솔)에 기록됩니다. 인쇄 시 인코딩이 IDE 자체 인코딩과 일치하지 않기 때문에 IDE와 콘솔에서 오류를 보고합니다

출력시 인코딩을 일관된 인코딩으로 변환하면 정상적으로 출력됩니다

#s是code_A的str s.decode(‘code_A‘).encode(‘code_B‘)

권장사항

인코딩 표준화

특정 링크로 인한 코드 깨짐 방지를 위한 인코딩 통일

환경 코딩, IDE/텍스트

에디터

, 파일 코딩, 데이터베이스 데이터 테이블 코딩

코드 소스 파일 코딩 확인

매우 중요합니다

py 파일의 기본 인코딩은 ASCII입니다. 소스 코드 파일에서 ASCII가 아닌 문자를 사용하는 경우 파일 헤더에 인코딩 선언을 해야 합니다. 선언하지 않은 경우 ASCII가 아닌 문자를 입력하면 오류가 발생합니다. , 파일의 첫 번째 또는 두 번째 줄에 배치해야 합니다

>>> print u‘中文‘.encode(‘gbk‘) ???? 
>>> print u‘中文‘.encode(‘utf-8‘) 中文

선언 방법

File "XXX.py", line 3 SyntaxError: Non-ASCII character ‘\xd6‘ in file c.py on line 3, but no encoding declared; see http://www.python.org/peps/pep-0263.html for details

헤더에 코딩=utf-8이 선언된 경우 a = '중국어' 인코딩은 utf-8

헤더가 코딩=gb2312, a = '중국어'로 선언되면 인코딩은 gbk

이므로 모든 소스 파일 헤더가 동일합니다. 프로젝트의 인코딩은 동일하며, 선언된 인코딩은 소스 파일과 동일해야 합니다. 저장된 인코딩은 일관됩니다(에디터 관련)

는 소스 코드에서 처리하기 위해 하드 코딩된 문자열로 사용되며, 균일하게 유니코드를 사용합니다

将其类型和源文件本身的编码隔离开, 独立无依赖方便流程中各个位置处理

if s == u‘中文‘:  #而不是 s == ‘中文‘     pass #注意这里 s到这里时，确保转为unicode

以上几步搞定后，你只需要关注两个 unicode和 你设定的编码(一般使用utf-8)

处理顺序

1. Decode early 2. Unicode everywhere 3. Encode later 

相关模块及一些方法

获得和设置系统默认编码

>>> import sys 
>>> sys.getdefaultencoding() ‘ascii‘  
>>> reload(sys) <module ‘sys‘ (built-in)> 
>>> sys.setdefaultencoding(‘utf-8‘) 
>>> sys.getdefaultencoding() ‘utf-8‘ 
>>> str.encode(‘other_coding‘)

在python中，直接将某种编码的str进行encode成另一种编码str

#str_A为utf-8 str_A.encode(‘gbk‘)  执行的操作是 str_A.decode(‘sys_codec‘).encode(‘gbk‘) 这里sys_codec即为上一步 sys.getdefaultencoding() 的编码 

‘获得和设置系统默认编码‘和这里的str.encode是相关的，但我一般很少这么用，主要是觉得复杂不可控,还是输入明确decode，输出明确encode来得简单些

chardet

文件编码检测，下载

>>> import chardet 
>>> f = open(‘test.txt‘,‘r‘) 
>>> result = chardet.detect(f.read()) 
>>> result {‘confidence‘: 0.99, ‘encoding‘: ‘utf-8‘}

\u字符串转对应unicode字符串

>>> u‘中‘ u‘\u4e2d‘  
>>> s = ‘\u4e2d‘ 
>>> print s.decode(‘unicode_escape‘) 中  
>>> a = ‘\\u4fee\\u6539\\u8282\\u70b9\\u72b6\\u6001\\u6210\\u529f‘ 
>>> a.decode(‘unicode_escape‘) u‘\u4fee\u6539\u8282\u70b9\u72b6\u6001\u6210\u529f‘

위 내용은 Python 인코딩 처리에서 str과 Unicode의 차이점과 사용법 분석에 대한 자세한 설명의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!