非法UTF-8编码指不符合UTF-8字节序列规范的字节组合,如0xC0 0x00(过短2字节序列)、0xF5...(超U+10FFFF)、0x80(孤立尾随字节)等;C++不校验std::string合法性,需手动检测过滤,常用逐字节状态机方式识别并跳过非法起始或中断序列。

什么是非法UTF-8编码?
非法UTF-8编码指不符合UTF-8字节序列规范的字节组合,比如:0xC0 0x00(过短的2字节序列)、0xF5 0x00 0x00 0x00(超出Unicode码点范围的4字节序列)、0x80(孤立的尾随字节)等。C++标准库不校验std::string内容是否合法UTF-8,所以必须手动检测并剔除。
用循环+状态机逐字节检测并过滤
最直接可靠的方式是遍历每个字节,用有限状态机判断当前是否处于合法UTF-8序列中。遇到非法起始字节或中途断开,就跳过该字节(即不复制到结果中)。
关键逻辑:
- 以
0x00–0x7F开头 → 单字节ASCII,合法 - 以
0xC2–0xDF开头 → 2字节序列,后续1字节需为0x80–0xBF - 以
0xE0开头 → 后续2字节需为0xA0–0xBF、0x80–0xBF(排除0xE0 0x80等代理区) - 以
0xED开头 → 后续2字节需为0x80–0x9F、0x80–0xBF(防止高位代理) - 以
0xF0开头 → 后续3字节需为0x90–0xBF×3(排除超U+10FFFF) - 以
0xF4开头 → 后续3字节需为0x80–0x8F、0x80–0xBF×2(上限U+10FFFF) - 其他起始字节(如
0xC0、0xFE)→ 直接视为非法
示例核心逻辑(C++17):
std::codecvt_utf8
- 传入含
0xC0 0x00的字符串给std::wstring_convert<:codecvt_utf8>>→ 抛std::range_error或崩溃 - 用
std::codecvt_utf8处理非Windows环境 → 宽字符宽度不确定(Linux下wchar_t是32位但语义不保证UTF-32)
性能与边界注意事项
纯字节扫描比任何基于std::mbstowcs或第三方库(如ICU)的方案更快,且无依赖。但要注意:
- 不要在循环中反复调用
s.at(i)——它带边界检查,拖慢2倍以上;用s[i]并自己控制索引 - 预留
out.reserve(s.size())避免多次内存重分配 - 若原始字符串可能含NUL(
\0),确保使用std::string构造函数明确长度,而非C风格字符串接口 - 该方法只删除非法字节,不修复——比如把
0xC0 0x00删成空,不会替换成U+FFFD(替换需要额外逻辑)
真正棘手的地方在于:UTF-8合法性检查必须严格区分“超长编码”(如0xC0 0x80表示U+0000,但违反规范)和“越界码点”(如0xF4 0x90 0x00 0x00),这两类都得剔除,漏判一种就会导致后续解析出错。
C++免费学习笔记(深入):立即使用
在学习笔记中,你将探索 C++ 的入门与实战技巧!











