テキスト ファイルの文字エンコーディングを確実に検出するにはどうすればよいですか?

テキスト ファイル内の文字エンコーディングの検出

テキスト ファイルを操作する場合、ファイルを正しく解釈するために使用される文字エンコーディングを知ることが重要です。この記事では、テキスト ファイルの文字エンコーディングを検出する方法について説明します。

BOM (バイト オーダー マーク) の制限

テキスト ファイルの最初のセクションには、バイト オーダー マーク (BOM) が含まれる場合があります。 、文字エンコーディングを示します。ただし、すべてのエンコーディングで BOM が使用されるわけではなく、広く使用されているエンコーディングである UTF-8 では省略されることがよくあります。したがって、BOM 検出のみに依存するのは不十分です。

代替検出方法

UTF-32

• BOM: 00 00 FE FF (BE) または FF FE 00 00(LE)
• パターン: 00 {00-10} xx xx (BE) または xx xx {00-10} 00 (LE)

US-ASCII

• BOM なし
• 80-FF のバイトが不足していますrange

UTF-8

• BOM: EF BB BF
• UTF-8 としての検証は強力な指標です
• 統計分析偽の場合正

UTF-16

• BOM: FE FF (BE) または FF FE (LE)
• サロゲート ペア (D[8-B] xx D[C-F]xx)

Other

• XML:encoding= 宣言を探します。デフォルトは UTF-8
• その他のエンコーディング:統計的検出または外部ツール

共通デフォルト

標準の検出方法が失敗し、エンコード宣言が見つからない場合は、ISO-8859-1 または Windows-1252 を想定することを検討してください。これらは、英語圏の環境で一般的に使用されるエンコーディングです。

以上がテキスト ファイルの文字エンコーディングを確実に検出するにはどうすればよいですか?の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。