C++如何实现字符串的按字符集白名单过滤清洗-C++-PHP中文网

字符集白名单过滤的实质是仅保留指定字符集内的字符，其余一律剔除；其核心在于高效判断字符是否在白名单中，utf-8需先解码为char32_t再过滤，ascii场景则须用unsigned char避免符号陷阱。

c++如何实现字符串的按字符集白名单过滤清洗

什么是字符集白名单过滤的实质

本质是保留指定集合内的字符，其余一律剔除。不是编码转换，也不是正则替换——它不关心语义，只做“存在性判断”。C++ 没有内置的“白名单过滤”函数，必须手动遍历 + 判断，核心在于如何高效判断某个 char 或 char32_t 是否在白名单中。

常见错误是直接用 std::string::find 在白名单字符串里查，对长字符串或高频调用场景性能极差；另一类错误是只处理 char，却忽略 UTF-8 多字节问题，导致中文、emoji 被截断成乱码。

UTF-8 字符串必须先解码再过滤

UTF-8 是变长编码，一个 Unicode 字符可能占 1–4 字节。std::string 存的是字节，不能直接按 char 过滤。否则会把“好”字（0xE5, 0xA5, 0xBD）拆成三个非法字节分别判断，结果全删或残缺。

C++14

C++14 对 C++11 的修正与增强版本，适合旧系统维护和较老工具链兼容。

下载

必须用 UTF-8 解码库（如 utf8cpp）或手写安全解码逻辑
推荐使用 utf8::iterator 将 std::string 转为 char32_t 序列
白名单应以 std::unordered_set<char32_t></char32_t> 存储，O(1) 查找
过滤后用 utf8::append 重新编码回 std::string

#include <utf8.h>
#include <unordered_set>
std::string filter_utf8(const std::string& s, const std::unordered_set<char32_t>& whitelist) {
    std::string out;
    out.reserve(s.size());
    utf8::iterator<:string::const_iterator> it(s.begin(), s.begin(), s.end());
    utf8::iterator<:string::const_iterator> end(s.end(), s.begin(), s.end());
    while (it != end) {
        char32_t cp = *it++;
        if (whitelist.find(cp) != whitelist.end()) {
            utf8::append(cp, back_inserter(out));
        }
    }
    return out;
}
</:string::const_iterator></:string::const_iterator></char32_t></unordered_set></utf8.h>

ASCII 白名单可跳过 UTF-8 解码，但要注意 signed char 陷阱

如果确定输入只含 ASCII（0x00–0x7F），可直接按字节操作，避免解码开销。但 C++ 中 char 默认可能是 signed，当读到 0xFF 这类高位字节时会变成负数，导致数组索引越界或 std::set 查找失败。

白名单用 std::bitset 最快（位运算 O(1)），索引前强制转为 unsigned char
不要用 std::set<unsigned char></unsigned>，插入/查找有树开销

示例：

std::bitset make_ascii_whitelist(const std::string& allowed) {
  std::bitset b;
  for (unsigned char c : allowed) b.set(c);
  return b;
}
std::string filter_ascii(const std::string& s, const std::bitset& whitelist) {
  std::string out;
  out.reserve(s.size());
  for (unsigned char c : s) {
      if (whitelist.test(c)) out += c;
  }
  return out;
}