Python의 `unicodedata` 모듈은 일관된 조작을 위해 유니코드 문자열을 어떻게 정규화할 수 있습니까?

유니코드 정규화

Python의 unicodedata 모듈은 유니코드 문자열을 조작하기 위한 메서드를 제공합니다. 일반적인 작업 중 하나는 중복된 유니코드 엔터티를 제거하여 가능한 가장 간단한 표현을 사용하도록 문자열을 정규화하는 것입니다.

문제

다음 예를 고려하세요.

import unicodedata

char = "á"
len(char)
[unicodedata.name(c) for c in char]

결과는 문자열 "á"가 가장 간단한 형식인 "LATIN SMALL LETTER A WITH"로 정규화되었음을 보여줍니다. 급성". 그러나 문자 순서를 바꾸면:

char = "á"
len(char)
[unicodedata.name(c) for c in char]

결과는 "LATIN SMALL LETTER A"와 "COMBINING ACUTE ACCENT"라는 두 개의 개별 문자로 분해됩니다. 이 동작은 일관성이 없으며 문자열 조작을 복잡하게 만들 수 있습니다.

해결 방법

유니코드 문자열을 일관되게 정규화하려면 unicodedata 모듈에서 .normalize() 함수를 사용하세요. NFC 형식(Normal Form Composed)은 구성된 문자를 반환하는 반면 NFD 형식(Normal Form Decomposed)은 분해된 결합 문자를 제공합니다.

예를 들어 위와 동일한 유니코드 조합을 사용하면 다음과 같습니다.

print(ascii(unicodedata.normalize('NFC', '\u0061\u0301')))
print(ascii(unicodedata.normalize('NFD', '\u00e1')))

출력 결과에 따르면 NFC 형식은 합성 문자 "é"를 생성하고 NFD 형식은 분해된 시퀀스를 생성합니다. "au0301".

추가 형식인 NFKC 및 NFKD는 호환성 코드 포인트를 처리합니다. 이러한 형식은 호환성 문자를 표준 형식으로 대체합니다. 예:

unicodedata.normalize('NFKC', '\u2167')

로마 숫자 8 코드 포인트(U 2167)를 ASCII 시퀀스 "VIII"로 변환합니다.

모든 변환이 교환 가능한 것은 아닙니다. 구성된 문자를 분해한 다음 다시 합성하면 원래 시퀀스가 ​​생성되지 않을 수 있습니다. 유니코드 표준은 이 동작에 대한 예외 목록을 유지합니다.

위 내용은 Python의 `unicodedata` 모듈은 일관된 조작을 위해 유니코드 문자열을 어떻게 정규화할 수 있습니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!