Python 的 len() 函数按 Unicode 码点计数，而泰米尔语等文字常由多个码点组合成一个视觉字符（图形单元），导致计数偏高；需用 regex 模块的 \X 正则模式识别真实字符。
python 的 `len()` 函数按 unicode 码点计数，而泰米尔语等文字常由多个码点组合成一个视觉字符（图形单元），导致计数偏高；需用 `regex` 模块的 `\x` 正则模式识别真实字符。
在处理国际化文本时，一个常见误区是直接使用内置 len() 函数统计字符串长度。例如，英文名 'KUMAR' 返回 5，完全符合预期；但泰米尔语姓名 'குமார்' 使用 len() 却返回 6，而非直观的 3 个字符。这是因为 'குமார்' 实际由以下 Unicode 码点构成：
- 'க்' = U+0B95（辅音） + U+0BCD（毗蓝摩，virama，表示不带元音）
- 'மா' = U+0BAE（辅音） + U+0BBE（长元音符号）
- 'ர்' = U+0BB0（辅音） + U+0BCD（毗蓝摩）
即共 6 个独立码点（code points），而人类阅读时将其感知为 3 个连贯的图形单元（graphemes）——也就是“字”或“可读字符”。
要获得符合语言直觉的字符数，必须按 Unicode 图形单元（grapheme cluster） 切分。标准库 re 模块不支持此功能，但第三方 regex 模块提供了 \X 模式，它能精准匹配一个完整的图形单元（包括基础字符及其组合标记）。
✅ 正确做法如下：
pip install regex
import regex
def count_graphemes(text):
"""返回字符串中 Unicode 图形单元（用户感知的‘字符’）数量"""
return len(regex.findall(r'\X', text))
# 示例验证
english_name = 'KUMAR'
tamil_name = 'குமார்'
print(f"Length of '{english_name}': {count_graphemes(english_name)}") # → 5
print(f"Length of '{tamil_name}': {count_graphemes(tamil_name)}") # → 3
⚠️ 注意事项：
- 不要混淆 re 和 regex：re.findall(r'.', text) 仍按码点分割，无法解决该问题；必须使用 regex 模块；
- \X 是 Unicode-aware 的通配符，等价于 (?:[^\p{M}\p{Cf}\p{Lm}\p{Sk}]+|\p{M}|\p{Cf}|\p{Lm}|\p{Sk})+，能自动处理组合字符、变音符号、ZWJ/ZWNJ 等复杂场景；
- 该方法同样适用于阿拉伯语、印地语、越南语、emoji（如 ??、❤️?）等所有依赖组合机制的语言与符号。
总结：面向用户的字符串长度统计，应以图形单元（grapheme）为单位，而非码点。regex.findall(r'\X', text) 是目前 Python 中最简洁、可靠且符合 Unicode 标准的解决方案。
