자바 중국어 왜곡 문자를 해결하는 방법

컴퓨터의 발전과 대중화로 인해 세계 각국에서는 자국의 언어와 문자에 맞게 자신만의 인코딩 스타일을 설계하게 됩니다. 이러한 혼란 때문에 인코딩 방법도 다양해집니다. 이진수는 다른 기호로 해석될 수 있습니다. 이러한 비호환성 문제를 해결하기 위해 유니코드 인코딩이라는 훌륭한 아이디어가 탄생했습니다! !

유니코드

유니코드는 유니코드, 유니코드, 유니코드라고도 알려져 있으며 모든 언어의 모든 문자에 대한 범용 코드를 제공합니다. 교차 언어 및 교차 플랫폼 텍스트 변환 및 처리에 대한 요구 사항을 충족하기 위해 문자에 대해 통합되고 고유한 이진 인코딩이 설정됩니다. 유니코드를 세상의 모든 기호를 포함하는 "대형 문자 컨테이너"로 상상할 수 있으며, 각 기호에는 고유한 인코딩이 있어 문자 왜곡 문제를 근본적으로 해결합니다. 따라서 유니코드는 모든 기호의 인코딩입니다[2].

유니코드는 범용 문자 집합의 표준으로 개발되어 책의 형태로도 출판되었습니다. 세상의 대부분의 문자 체계를 컴퓨터가 사용할 수 있도록 정리하고 코딩하는 산업 표준입니다. 텍스트를 제시하고 처리하는 더 쉬운 방법입니다. 유니코드는 계속해서 개정되고 있으며 지금까지 100,000개 이상의 문자가 포함되어 있으며 업계에서 널리 인정받고 있으며 컴퓨터 소프트웨어의 국제화 및 지역화 프로세스에 널리 사용됩니다.

우리는 유니코드가 기존 문자 인코딩 방식의 한계를 해결하기 위해 만들어졌다는 것을 알고 있습니다. 기존 인코딩 방식의 경우 모두 공통적인 문제가 있습니다. 즉, 인터넷에서 공개된 문제인 다중 언어 환경을 지원할 수 없다는 것입니다. . 환경은 허용되지 않습니다. 현재 거의 모든 컴퓨터 시스템은 기본 라틴 알파벳을 지원하며 각각 다른 인코딩 방법을 지원합니다. 이들과의 호환성을 위해 유니코드는 ISO 8859-1에 정의된 문자에 대해 처음 256자를 예약하므로 기존 서유럽 언어를 변환할 때 특별한 고려 사항과 많은 수의 동일 문자가 필요하지 않습니다. 문자는 다른 문자 코드로 반복적으로 인코딩됩니다. Go를 사용하면 오래되고 복잡한 인코딩 방법을 정보 손실 없이 유니코드 인코딩으로 직접 변환하거나 유니코드 인코딩에서 직접 변환할 수 있습니다[1].

구현 방법

문자의 유니코드 인코딩이 결정되지만 실제 전송 과정에서는 서로 다른 시스템 플랫폼의 설계로 인해 반드시 일관성이 없으며 공간 절약을 목적으로 합니다. , 유니코드 인코딩이 다르게 구현됩니다. 유니코드의 구현을 유니코드 변환 형식(줄여서 UTF)이라고 합니다[1].

유니코드는 문자 집합으로, 주로 UTF-8, UTF-16, UTF-32의 세 가지 구현 방법이 있습니다. UTF-8은 현재 주류 구현 방법이므로 UTF-16과 UTF-32는 상대적으로 거의 사용되지 않으므로 다음에서는 주로 UTF-8을 소개합니다.

UCS

유니코드를 언급하면 ​​UCS에 대해 알아야 할 수도 있습니다. UCS(Universal Character Set)는 ISO가 제정한 ISO 10646(또는 ISO/IEC 10646) 표준에서 정의한 표준 문자 집합입니다. 여기에는 다른 모든 문자 세트가 포함되어 있어 다른 문자 세트와의 양방향 호환성을 보장합니다. 즉, 텍스트 문자열을 UCS 형식으로 변환한 다음 다시 원래 인코딩으로 변환해도 정보가 손실되지 않습니다.

UCS는 각 캐릭터에 코드를 부여할 뿐만 아니라 공식적인 이름도 부여합니다. UCS 또는 유니코드 값을 나타내는 16진수 숫자 앞에는 일반적으로 "U+"가 옵니다. 예를 들어 "U+0041"은 문자 "A"를 나타냅니다.

리틀 엔디안 & 빅 엔디안

각 시스템 플랫폼의 디자인이 다르기 때문에 일부 플랫폼에서는 문자에 대한 이해(예: 바이트 순서 이해)가 다를 수 있습니다. 이로 인해 합의된 바이트 스트림이 다른 콘텐츠로 해석됩니다. 예를 들어 특정 문자의 16진수 값은 4E59이며 4E와 59로 분할됩니다. MAC에서 읽을 때 하위 비트로 시작합니다. 그런 다음 MAC이 바이트 스트림을 만나면 다음과 같이 구문 분석됩니다. 594E. 찾기 문자는 "Kui"이지만 Windows 플랫폼에서는 상위 바이트인 4E59부터 읽기가 시작되며 찾은 문자는 "B"입니다. 즉, Windows 플랫폼에 저장된 "B"는 MAC 플랫폼에서는 "Kui"가 됩니다. 이는 필연적으로 혼란을 야기하므로 유니코드 인코딩에서는 빅 엔디안과 리틀 엔디안을 구별하기 위해 두 가지 방법이 사용됩니다. 즉, 첫 번째 바이트가 먼저 나오는데 이는 빅엔디안 모드이고 두 번째 바이트가 먼저 나오는데 이는 리틀엔디안 모드입니다. 그렇다면 이때 질문이 생깁니다. 컴퓨터는 특정 파일이 어떤 인코딩 방법을 사용하는지 어떻게 알 수 있습니까?

유니코드 사양에서는 각 파일 앞에 인코딩 순서를 나타내는 문자를 추가하도록 정의되어 있습니다. 이 문자의 이름은 FEFF 로 표시되는 "ZERO WIDTH NO-break SPACE"입니다. 이는 정확히 2바이트이고 FF는 FE보다 1바이트 더 큽니다.

텍스트 파일의 처음 2바이트가 FE FF이면 파일이 빅 엔드 모드를 사용한다는 의미이고, 처음 2바이트가 FF FE이면 파일이 스몰 엔드 모드를 사용한다는 의미입니다.

UTF-8

UTF-8은 유니코드를 위한 가변 길이 문자 인코딩으로 1~4바이트를 사용하여 기호를 나타낼 수 있으며 바이트는 기호 길이에 따라 다릅니다. . 이는 유니코드 표준의 모든 문자를 나타내는 데 사용할 수 있으며 해당 인코딩의 첫 번째 바이트는 여전히 ASCII와 호환됩니다. 이를 통해 ASCII 문자를 처리하는 원래 시스템을 약간의 수정 없이 계속 사용할 수 있습니다. 따라서 점차 이메일, 웹 페이지 및 텍스트를 저장하거나 전송하는 기타 응용 프로그램에서 선호되는 인코딩이 되었습니다.

UTF-8은 1~4바이트를 사용하여 각 문자를 인코딩합니다.

1) 단일 바이트 기호의 경우 바이트의 첫 번째 비트는 0으로 설정됩니다. , 다음 7비트는 이 기호의 유니코드 코드입니다. 따라서 영문자의 경우 UTF-8 인코딩과 ASCII 코드가 동일합니다.

2) n바이트 심볼(n>1)의 경우 첫 번째 바이트의 처음 n 비트는 1로 설정되고 n+1번째 비트는 0으로 설정되며 다음의 처음 2비트는 바이트는 1로 설정됩니다. 항상 10으로 설정됩니다. 언급되지 않은 나머지 이진 비트는 모두 이 기호의 유니코드 코드입니다.

변환표는 다음과 같습니다.

위 변환표에 따르면 UTF-8 변환 인코딩 규칙을 이해하는 것은 매우 간단해집니다. 첫 번째 문자 섹션의 첫 번째 비트가 0이면 이 바이트만 문자임을 의미하고, 1이면 연속되는 1의 개수는 해당 문자가 차지하는 바이트 수를 의미합니다.

UTF-8 인코딩 [3]을 구현하는 방법을 보여주기 위해 한자 "yan"을 예로 들어 보겠습니다.

'strict'의 유니코드는 4E25(100111000100101)인 것으로 알려져 있는데, 위 표를 보면 4E25가 세 번째 줄(0000 0800-0000 FFFF) 범위에 있다는 것을 알 수 있다. 따라서 "엄격한" UTF-8 인코딩에는 3바이트가 필요합니다. 즉, 형식은 "1110xxxx 10xxxxxx 10xxxxxx"입니다. 그런 다음 "strict"의 마지막 이진수부터 시작하여 형식의 x를 뒤에서 앞으로 채우고 나머지 비트를 0으로 채웁니다. 이런 식으로 "Yan"의 UTF-8 인코딩은 "11100100 10111000 10100101"이고 16진수로 변환된 것은 E4B8A5입니다.

유니코드와 UTF-8 간의 변환

위의 예를 통해 "strict"의 유니코드 코드는 4E25이고 UTF-8 인코딩은 E4B8A5가 아님을 알 수 있습니다. 프로그램 변환을 통해서도 마찬가지입니다. Windows 플랫폼에서 가장 간단하고 직관적인 방법은 메모장입니다.

"인코딩(E)" 하단에는 ANSI, 유니코드, 유니코드 빅엔디안, UTF-8의 네 가지 옵션이 있습니다.

ANSI: 메모장의 기본 인코딩 방법은 영어 파일의 경우 ASCII 인코딩이고 중국어 간체 파일의 경우 GB2312 인코딩입니다. 참고: 서로 다른 ANSI 코드는 서로 호환되지 않습니다. 정보가 국제적으로 교환될 때 두 언어에 속하는 텍스트는 동일한 ANSI 인코딩 텍스트

유니코드: UCS-2 인코딩 방법, 즉 , 2바이트를 직접 사용하여 문자의 유니코드 코드를 저장합니다. 이 방법은 "리틀 엔디안" 방법입니다.

유니코드 빅엔디안: UCS-2 인코딩 방식, "빅엔드" 방식.

UTF-8: 위 내용을 읽으세요(UTF-8).

>>> 예: 메모장에 "strict"라는 단어를 입력하고 ANSI, 유니코드, 유니코드 빅 엔디안 및 UTF-8의 네 가지 인코딩 스타일을 선택한 다음 다른 이름으로 저장하고 EditPlus 텍스트 도구를 사용하여 " 16 "16진수 뷰어"로 확인하고 다음 결과를 얻습니다.

ANSI: 2바이트 "D1 CF"는 정확히 "strict"의 GB2312 인코딩입니다.

유니코드: 4바이트 "FF FE 25 4E", 여기서 "FF FE"는 소규모 저장 방법을 나타내고 실제 인코딩은 "25 4E"입니다.

유니코드 빅 엔디안: 4바이트 "FE FF 4E 25", "FE FF"는 빅 엔드 저장 방식을 나타내며 실제 인코딩은 "4E 25"입니다.

UTF-8: 인코딩은 6바이트 "EF BB BF E4 B8 A5"입니다. 처음 3바이트 "EF BB BF"는 이것이 UTF-8 인코딩임을 나타내고 마지막 3바이트는 "E4B8A5"입니다. "strict"의 특정 인코딩은 저장 순서가 인코딩 순서와 일치합니다.