strings.Map 関数を使用して Python でテキスト入力を ASCII に正規化する方法

テキスト入力を ASCII に正規化: Python の前進

テキスト処理ツールを構築する場合、非 ASCII 文字の処理は重要な意味を持ちます。チャレンジ。たとえば、中引用符は矛盾の一般的な原因となります。これらの文字を標準の ASCII 文字と交換することは、テキスト分析を改善するためのデータ正規化に向けた重要なステップです。

Python 標準ライブラリでは、strings.Map 関数が文字置換の強力なソリューションとして登場します。一般的な 'ToAscii' 関数とは異なり、Map はカスタマイズ可能なアプローチを提供し、ユーザーがルーン文字を希望の ASCII 相当文字に変換するカスタム マッピング関数を定義できるようにします。

このアプローチを実証するために、両方のカーリー文字を含むテキスト サンプルを考えてみましょう。直線引用符:

data = "Hello “Frank” or ‹François› as you like to be ‘called’"

strings.Map 関数を使用すると、波引用符を対応する ASCII 文字に置き換えるカスタム マッピング関数 Normalize を定義できます:

<code class="python">func normalize(in rune) rune {
    switch in {
    case '“', '‹', '”', '›':
        return '"'
    case '‘', '’':
        return '\''
    }
    return in
}</code>

これを適用します入力データに関数を適用すると、正規化されたテキストが生成されます:

cleanedData := strings.Map(normalize, data)
fmt.Printf("Cleaned: %s\n", cleanedData)

出力:

Cleaned: Hello "Frank" or "François" as you like to be 'called'

strings.Map 関数とカスタム マッピング関数を利用することで、テキスト入力を効果的に正規化しました。非 ASCII 文字を同等の ASCII 文字に置き換えます。このアプローチにより、標準化されたテキスト形式を必要とするダウンストリーム アプリケーションとの互換性が確保されます。

以上がstrings.Map 関数を使用して Python でテキスト入力を ASCII に正規化する方法の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。