如何通过 String.prototype.normalize() 实现对多音字或异体字原始字符的等价匹配

小萱姑娘_4742

小萱姑娘_4742

2026-05-07

817人浏览

原创

String.prototype.normalize() 无法实现多音字或常用异体字的语义等价匹配,仅支持 Unicode 定义的标准/兼容等价转换,如全角转半角、带圈数字归一化等;“峰/峯”等因属独立码位且无等价声明,需配合自定义映射表实现业务层归一。

如何通过 string.prototype.normalize() 实现对多音字或异体字原始字符的等价匹配

String.prototype.normalize() 本身不能直接实现多音字或异体字的“语义等价匹配”,它只处理 Unicode 层面的**标准化形式转换**(如 NFC/NFD/NFKC/NFKD),对汉字读音、字义、方言变体或人工约定的异体关系(如“峰/峯”“够/夠”“为/為”)不具识别能力。真正能用于原始字符等价匹配的,是它配合 Unicode 标准中已明确定义的**兼容等价(compatibility equivalence)和标准等价(canonical equivalence)规则**——而这些规则仅覆盖极小一部分汉字变体(主要是历史兼容字符、全角/半角、上下标、带修饰符的拉丁字母等),**不包括绝大多数中文多音字或常用异体字**。

哪些汉字变体可通过 normalize() 实现等价匹配?

仅限 Unicode 标准中被明确标记为“兼容等价”或“标准等价”的字符对。常见可标准化的类型有:

  • 全角 ASCII 字符 → 半角:如全角数字“123”经 .normalize('NFKC') 变为 “123”
  • 带竖线/圆圈的拉丁字母 → 基础字母:如“①②③” → “123”,“ABC” → “ABC”
  • 部分日文平假名/片假名的旧字体与新字体(极少数):如“㋐”(平假名循环符号)在 NFKC 下可能归一化为“あ”(但非普遍)
  • 带组合附加符号的字符(极少用于汉字):如“汉”本身无组合符,但若人为构造“漢̃”(加波浪符),NFD 可将其拆分为“漢 + ̃”,再用 NFC 合并——但这不是真实异体字场景

为什么“峰/峯”“够/夠”“为/為”无法靠 normalize() 自动等价?

这些属于 Unicode 中的独立码位(distinct code points),彼此既无标准等价关系,也未被定义为兼容等价对。例如:

  • “峰” U+5CF0,“峯” U+5CED —— 两个完全不同的汉字码位,Unicode 未声明二者可互换
  • “够” U+591F,“夠” U+8CB3 —— 简繁体对应,但 Unicode 视为不同字,normalize() 不做映射
  • “为” U+4E3A(简体),“為” U+70BA(繁体)—— 同样无标准化关联

它们的等价性来自语言习惯、地区规范或人工词表,而非 Unicode 编码层规则。因此 "峰".normalize() === "峯".normalize() 恒为 false。

实用替代方案:结合 normalize() 与自定义映射

若需支持异体字匹配,应将 normalize() 作为预处理步骤(清理全角、符号等干扰),再叠加业务层映射:

  • 步骤 1:统一格式干扰:先用 NFKC 转换全角标点、数字、空格等,避免“ABC.”与“ABC.”因格式差异不匹配
  • 步骤 2:构建异体字映射表:按需维护 JSON 或 Map,例如:
    { "峯": "峰", "夠": "够", "為": "为", "裏": "里", "鍾": "钟" }
  • 步骤 3:标准化 + 映射归一化:对输入字符串逐字查表替换,再比较
    function normalizeChinese(str) {<br>  return str.normalize('NFKC').replace(/./g, c => mapping[c] || c);<br>}

多音字匹配需完全脱离 normalize(),依赖语义层

“长”读 cháng 或 zhǎng、“行”读 xíng 或 háng,属于同形异音字(homograph),其读音由上下文决定。normalize() 无法感知语境,也无法生成拼音。可行路径是:

  • 接入中文分词 + 词性标注工具(如结巴分词、LAC、HanLP),识别“行长”中的“行”为名词,倾向 háng 音
  • 使用拼音库(如 pinyin、pinyin-pro)获取多音字所有读音,构建音近索引(如模糊搜索时展开“zhǎng”和“cháng”)
  • 对搜索场景,可预建“字→音→义→同音字”倒排表,而非依赖字符层面归一
PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
js获取数组长度的方法
js获取数组长度的方法

在js中,可以利用array对象的length属性来获取数组长度,该属性可设置或返回数组中元素的数目,只需要使用“array.length”语句即可返回表示数组对象的元素个数的数值,也就是长度值。php中文网还提供JavaScript数组的相关下载、相关课程等内容,供大家免费下载使用。

2023.06.20

5406

5

js刷新当前页面
js刷新当前页面

js刷新当前页面的方法:1、reload方法,该方法强迫浏览器刷新当前页面,语法为“location.reload([bForceGet]) ”;2、replace方法,该方法通过指定URL替换当前缓存在历史里(客户端)的项目,因此当使用replace方法之后,不能通过“前进”和“后退”来访问已经被替换的URL,语法为“location.replace(URL) ”。php中文网为大家带来了js刷新当前页面的相关知识、以及相关文章等内容

2023.07.04

1329

3

js四舍五入
js四舍五入

js四舍五入的方法:1、tofixed方法,可把 Number 四舍五入为指定小数位数的数字;2、round() 方法,可把一个数字舍入为最接近的整数。php中文网为大家带来了js四舍五入的相关知识、以及相关文章等内容

2023.07.04

5344

6

js删除节点的方法
js删除节点的方法

js删除节点的方法有:1、removeChild()方法,用于从父节点中移除指定的子节点,它需要两个参数,第一个参数是要删除的子节点,第二个参数是父节点;2、parentNode.removeChild()方法,可以直接通过父节点调用来删除子节点;3、remove()方法,可以直接删除节点,而无需指定父节点;4、innerHTML属性,用于删除节点的内容。

2023.09.01

1000

4

JavaScript转义字符
JavaScript转义字符

JavaScript中的转义字符是反斜杠和引号,可以在字符串中表示特殊字符或改变字符的含义。本专题为大家提供转义字符相关的文章、下载、课程内容,供大家免费下载体验。

2023.09.04

1956

5

js生成随机数的方法
js生成随机数的方法

js生成随机数的方法有:1、使用random函数生成0-1之间的随机数;2、使用random函数和特定范围来生成随机整数;3、使用random函数和round函数生成0-99之间的随机整数;4、使用random函数和其他函数生成更复杂的随机数;5、使用random函数和其他函数生成范围内的随机小数;6、使用random函数和其他函数生成范围内的随机整数或小数。

2023.09.04

3745

4

如何启用JavaScript
如何启用JavaScript

JavaScript启用方法有内联脚本、内部脚本、外部脚本和异步加载。详细介绍:1、内联脚本是将JavaScript代码直接嵌入到HTML标签中;2、内部脚本是将JavaScript代码放置在HTML文件的`<script>`标签中;3、外部脚本是将JavaScript代码放置在一个独立的文件;4、外部脚本是将JavaScript代码放置在一个独立的文件。

2023.09.12

4933

6

Js中Symbol类详解
Js中Symbol类详解

javascript中的Symbol数据类型是一种基本数据类型,用于表示独一无二的值。Symbol的特点:1、独一无二,每个Symbol值都是唯一的,不会与其他任何值相等;2、不可变性,Symbol值一旦创建,就不能修改或者重新赋值;3、隐藏性,Symbol值不会被隐式转换为其他类型;4、无法枚举,Symbol值作为对象的属性名时,默认是不可枚举的。

2023.09.20

3220

5

java访问控制修饰符介绍
java访问控制修饰符介绍

java访问控制修饰符有四种,分别是public、protected、private、默认访问修饰符。详细介绍:1、public,public是最宽松的访问控制修饰符,被修饰的类、方法和变量可以被任何其他类访问,当一个类、方法或变量被声明为public时,它们可以在任何地方被访问,无论是同一个包中的类还是不同包中的类;2、protected修饰符等等。

2023.09.20

1028

7

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
phpStudy极速入门视频教程
phpStudy极速入门视频教程

共6课时 | 54.7万人学习

独孤九贱(4)_PHP视频教程
独孤九贱(4)_PHP视频教程

共89课时 | 134.1万人学习