C++如何将UTF-8编码的字符串切分为单个字符-C++-PHP中文网

utf-8字符串不能用std::string::substr按字节切分，因会截断多字节字符导致乱码；必须按utf-8编码规则识别首字节标志位（如0b11110000、0b11100000等）确定字符长度后安全切分。

c++如何将utf-8编码的字符串切分为单个字符

UTF-8字符串不能用`std::string::substr`按字节切分

直接用substr按索引取1字节，大概率拿到的是不完整的UTF-8码元（如0xC3或0xB6），结果是乱码或。UTF-8是变长编码：ASCII字符占1字节，中文通常占3字节，Emoji可能占4字节。必须识别每个字符的起始字节（即最高位为0，或高位为0b11xxxxxx），才能安全切分。

手动解析UTF-8首字节标志位最可靠

标准库不提供原生UTF-8字符迭代器，但逻辑很明确：检查每个字节的高位模式，跳过后续字节。实际写法如下：

std::vector<:string> utf8_split(const std::string& s) {
    std::vector<:string> result;
    size_t i = 0;
    while (i  s.size()) len = s.size() - i;
        result.emplace_back(s.substr(i, len));
        i += len;
    }
    return result;
}
</:string></:string>

注意点：

0b11110000等掩码要严格匹配UTF-8规范，不能只看前两位
遇到非法序列（如0b10xxxxxx开头）应视为错误字节，可跳过或保留原字节
某些输入可能含BOM（\xEF\xBB\xBF），需提前剥离，否则首个“字符”会是BOM

用`std::codecvt_utf8`？别用，已弃用

C++11引入的std::codecvt_utf8在C++17被标记为deprecated，GCC/Clang新版本编译会警告，MSVC也逐步移除。它依赖facet机制，需配合std::wstring_convert，而后者同样被弃用。强行使用会导致：

C函数速查手册（CHM版）

下载

跨平台行为不一致（尤其Windows下locale依赖严重）
无法处理代理对（surrogate pairs）以外的4字节Unicode字符（如U+1F600 ?）
编译失败或运行时抛std::runtime_error

第三方库如`utf8cpp`值得考虑

如果项目允许引入轻量依赖，utf8cpp（头文件-only）是最小侵入方案：

#include <utf8.h>
std::vector<:string> split_utf8(const std::string& s) {
    std::vector<:string> res;
    utf8::iterator<:string::const_iterator> it(s.begin(), s.begin(), s.end());
    utf8::iterator<:string::const_iterator> end(s.end(), s.begin(), s.end());
    while (it != end) {
        auto start = it.base();
        ++it; // 移动到下一字符起点
        res.emplace_back(start, it.base());
    }
    return res;
}
</:string::const_iterator></:string::const_iterator></:string></:string></utf8.h>

它的优势：