문자열 인코딩 및 디코딩으로 문자 왜곡 문제 해결

"UnicodeEncodeError: 'ascii' 코덱이 0-1 위치의 문자를 인코딩할 수 없습니다: 서수가 범위(128)에 없음" 오류가 보고되는 이유는 무엇입니까? 이 기사에서는 이 문제를 연구할 것입니다.

파이썬에서 문자열의 내부 표현은 유니코드 인코딩이므로 인코딩 변환을 할 때 일반적으로 중간 인코딩으로 유니코드를 사용해야 합니다. 즉, 먼저 다른 인코딩의 문자열을 유니코드로 디코딩한 다음 유니코드 인코딩에서 다른 인코딩으로 변환합니다.

decode의 기능은 다른 인코딩된 문자열을 str1.decode('gb2312')와 같은 유니코드 인코딩으로 변환하는 것입니다. 이는 gb2312로 인코딩된 문자열 str1을 유니코드 인코딩으로 변환하는 것을 의미합니다.

인코드 기능은 유니코드 인코딩을 str2.encode('gb2312')와 같은 다른 인코딩된 문자열로 변환하는 것입니다. 이는 유니코드 인코딩 문자열 str2를 gb2312 인코딩으로 변환하는 것을 의미합니다.

따라서 트랜스코딩을 할 때는 문자열 str이 어떤 인코딩인지 먼저 이해한 후 유니코드로 디코딩한 후 다른 인코딩으로 인코딩해야 합니다.

코드 내 문자열의 기본 인코딩 코드 파일 자체는 일관되게 인코딩됩니다.

예: s='English'

utf8 파일에 있으면 문자열은 utf8로 인코딩됩니다. gb2312 파일에 있으면 인코딩은 gb2312입니다. 이 경우 인코딩 변환을 수행하려면 먼저 decode 메소드를 사용하여 유니코드 인코딩으로 변환한 다음 encode 메소드를 사용하여 다른 인코딩으로 변환해야 합니다. 일반적으로 특정 인코딩 방법을 지정하지 않으면 시스템 기본 인코딩을 사용하여 생성된 코드 파일이 사용됩니다.

문자열이 다음과 같이 정의된 경우: s=u'English'

문자열의 인코딩은 Python의 내부 인코딩인 유니코드로 지정되며 코드 파일 자체와 다릅니다. .인코딩은 그것과 아무 관련이 없습니다. 따라서 이 경우 인코딩 변환을 위해서는 encode 메소드를 직접 사용하여 지정된 인코딩으로 변환하면 됩니다.

문자열이 이미 유니코드인 경우 디코딩 시 오류가 발생하므로 일반적으로 인코딩 방법이 유니코드인지 여부를 판단해야 합니다.

isinstance(s, unicode)  #用来判断是否为unicode

다음과 같은 경우에는 유니코드가 아닌 인코딩을 사용하세요. str을 사용하여 인코딩하면 오류가 보고됩니다.

시스템의 기본 인코딩을 얻는 방법은 무엇입니까?

#!/usr/bin/env python
#coding=utf-8
import sys
print sys.getdefaultencoding()

영어 Windows에서 이 프로그램의 출력 출력 콘솔 자체는 문자열의 인코딩을 표시할 수 없으며 프로그램 자체의 문제는 아닙니다.

마지막 문장을 다음으로 변경하세요: print s.encode('gb2312')

"중국어"라는 단어가 올바르게 출력될 수 있습니다.

s=u"中文"
print s

마지막 문장을 print s.encode('utf8')

으로 변경하면 xe4xb8xadxe6x96x87이 출력됩니다. utf8을 출력하는 콘솔 정보 출력 창의 결과입니다. -ASCII 인코딩에 따라 인코딩된 문자열입니다.

unicode(str,'gb2312')는 str.decode('gb2312')와 동일합니다. 둘 다 gb2312로 인코딩된 str을 유니코드 인코딩으로 변환합니다.

str.__class__를 사용할 수 있습니다. str의 인코딩 형식

오랫동안 원리에 대해 이야기한 끝에 드디어 만병통치약을 생각해봅시다 :)

코드는 다음과 같습니다

#!/usr/bin/env python 
#coding=utf-8 
s="中文" 
if isinstance(s, unicode): 
#s=u"中文" 
print s.encode('gb2312') 
else: 
#s="中文" 
print s.decode('utf-8').encode('gb2312')