Latin1 でエンコードされたデータ内の UTF-8 文字を検出するにはどうすればよいですか?

Latin1 でエンコードされたデータの UTF-8 文字の検査

Latin1 から UTF-8 へのデータベース変換という困難なタスクに着手する場合、データの互換性。この記事では、Latin1 でエンコードされた列内の UTF-8 文字を検出する 2 つの方法について説明します。

オプション 1: Perl および MySQL ダンプ

MySQL ダンプを使用したデータの抽出と分析Perl を外部的に使用することは実行可能なオプションです。 Perl の Unicode 機能により、文字エンコーディングの検出が可能になります。ただし、この方法は大規模なデータセットでは扱いにくく、MySQL の組み込み機能よりも効率が低くなります。

オプション 2: MySQL 関数

MySQL は、UTF を容易にする関数を提供します。 8文字の識別。具体的には、LENGTH() 関数と CHAR_LENGTH() 関数を組み合わせて、マルチバイト文字を含む行を識別できます。クエリ SELECT name FROM クライアント WHERE LENGTH(name) != CHAR_LENGTH(name);潜在的な UTF-8 文字を含む行を分離します。

視覚的検証

マルチバイト文字を含む行を識別しても、LATIN1 アクセント付き文字と UTF-8 文字を区別することができます。挑戦的。最終的な洞察を得るには、MySQL の CONVERT() 関数を使用して、バイナリ データを Latin1 エンコーディングと UTF-8 エンコーディングの両方に変換できます。結果は、次のクエリを使用して視覚的に比較できます。

SELECT CONVERT(CONVERT(name USING BINARY) USING latin1) AS latin1, 
       CONVERT(CONVERT(name USING BINARY) USING utf8) AS utf8 
FROM users 
WHERE CONVERT(name USING BINARY) RLIKE CONCAT('[', UNHEX('80'), '-', UNHEX('FF'), ']')

このクエリは、LATIN1 アクセント記号または UTF-8 文字のいずれかを示す「high-ASCII」文字を含む行をターゲットとしています。 Latin1 変換と UTF-8 変換を比較すると、真のエンコーディングが明らかになります。

以上がLatin1 でエンコードされたデータ内の UTF-8 文字を検出するにはどうすればよいですか?の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。