intl.segmenter 是现代 javascript 中专为语言感知文本分割设计的 api,能按 unicode 图符簇(如 emoji、组合字符、cjk 字)精准切割,避免 split('') 或 array.from(str) 按 utf-16 代码单元拆分导致的显示错乱;支持 granularity: 'grapheme'/'word'/'sentence' 及多语言 locale 适配,chrome 80+ 等主流环境原生支持。

Intl.Segmenter 是现代 JavaScript 中专为语言感知文本分割设计的 API,它能按用户可读的“字符”(更准确说是 Unicode 段落单元,如图符、组合字符序列、CJK 字、连字等)进行切割,而非简单按 UTF-16 代码单元或字节——这正是实现真正“按字符”切割的关键。
为什么不能用 split('') 或 Array.from(str)?
这些方法在 JavaScript 中实际按 UTF-16 代码单元拆分,对含代理对(如 emoji ?、??)、组合标记(如 é = e + ◌́)、或 ZWJ 序列(如 ????)的字符串会错误切开,导致显示错乱或逻辑错误。例如:
-
'??'.length === 4(实际是 1 个人物图符,但被拆成 4 个码元) -
'café'.split('') → ['c','a','f','é'],但é可能是e + ◌́两个码元,视觉上仍是 1 个字符
用 Intl.Segmenter 按“视觉字符”精准切割
创建一个以 granularity: 'grapheme' 为粒度的 Segmenter 实例,它会将每个用户视为“一个字符”的图符簇(grapheme cluster)作为独立段落处理:
const segmenter = new Intl.Segmenter('en', { granularity: 'grapheme' });
function segmentGraphemes(str) {
return Array.from(segmenter.segment(str), seg => seg.segment);
}
// 示例
segmentGraphemes('Hello ?, café ??');
// → ['H','e','l','l','o',' ','?',',',' ','c','a','f','é',' ','?','?']
注意:?? 等国旗 emoji 是由两个区域指示符组成(U+1F1E6 + U+1F1F7),grapheme 粒度会将其合并为一个段落;而 ???? 这类 ZWJ 连接序列也会整体保留。
支持多语言与上下文感知的进阶用法
Segmenter 能根据语言标识自动适配断词规则。例如中文无需空格分词,日文需区分平假名/汉字边界,阿拉伯语要考虑连字方向:
- 用
granularity: 'word'可按语义单词切分(对中文按字/词,对英文按空格+标点,对泰语按音节) - 用
granularity: 'sentence'可提取完整句子(识别句号、问号、感叹号及语言特定结束标点) - 指定
locale如'zh-CN'或'ja-JP'可优化对应语言的分段精度
示例(中英混排):
const zhSeg = new Intl.Segmenter('zh-CN', { granularity: 'word' });
Array.from(zhSeg.segment('Hello世界123')).map(s => s.segment);
// → ['Hello', '世界', '123']
兼容性与降级建议
Intl.Segmenter 在 Chrome 80+、Firefox 78+、Safari 15.4+、Node.js 16.0+ 原生支持。旧环境可使用 @formatjs/intl-segmenter 轻量 polyfill(约 20KB)。不推荐回退到正则模拟(如 /\p{Extended_Pictographic}|\p{Emoji_Modifier_Base}\p{Emoji_Modifier}?|./gu),因无法覆盖组合字符、文字脚本边界等复杂场景。











