c++如何读取和解析带BOM头的UTF-8与UTF-16文本流【详解】

陌静君_9514

陌静君_9514

2026-03-30

640人浏览

原创

根本原因是 std::ifstream 默认按字节流打开,不识别 BOM,将 UTF-8 或 UTF-16 BOM 当普通字符读入导致解析失败;需二进制模式打开、手动检测并跳过 BOM,再转码处理。

c++如何读取和解析带bom头的utf-8与utf-16文本流【详解】

读取时直接遇到乱码或空内容

根本原因是 C++ 标准库的 std::ifstream 默认按字节流打开,不识别 BOM;遇到 UTF-8 BOM(0xEF 0xBB 0xBF)或 UTF-16 BOM(0xFF 0xFE 或 0xFE 0xFF)时,会把它们当普通字符读入,导致后续解析失败——比如 std::getline 读出首行含不可见字节,JSON 解析器直接报 invalid character。

实操建议:

  • 用二进制模式打开文件:std::ifstream f("file.txt", std::ios::binary),避免系统层面对换行符或编码的隐式转换
  • 手动读前 3 字节判断 UTF-8 BOM,前 2 字节判断 UTF-16 BOM;别依赖 std::codecvt_utf8(已弃用)或平台 API 做自动探测
  • UTF-16 小端和大端 BOM 必须区分:读到 0xFF 0xFE 是 UTF-16LE,0xFE 0xFF 是 UTF-16BE;混用会导致每两个字节被颠倒解析

std::wifstream 读 UTF-16 文件却只读出一半字符

这是最典型的坑:Windows 下 std::wifstream 默认用本地宽字符编码(通常是 UTF-16LE),但若没显式指定 locale,它不会跳过 BOM,也不会按 UTF-16 单位解析——而是把每个字节当一个 wchar_t 处理,结果一个汉字变成两个乱码宽字符。

实操建议:

  • 必须在打开前设置 locale:f.imbue(std::locale(f.getloc(), new std::codecvt_utf16));
  • 改用 char16_t 流而非 wchar_t 流,避免 Windows 上 wchar_t 是 16 位但语义模糊的问题
  • 更稳妥的做法是:先用 std::ifstream 读原始字节,检测 BOM 后,用 std::mbrtoc16 或 std::from_bytes(C++20)转成 std::u16string

跨平台读 UTF-8 文件时 BOM 导致 std::stoi 失败

Linux/macOS 下很多工具生成的 UTF-8 文件带 BOM,而 std::stoi、std::stod 等函数遇到开头的 0xEF 0xBB 0xBF 会立即返回 0 并设 failbit,不是抛异常,容易被忽略。

C++14
C++14

C++14 对 C++11 的修正与增强版本,适合旧系统维护和较老工具链兼容。

下载

实操建议:

  • 解析数字前,对字符串做 BOM 清洗:s.erase(0, s.starts_with("\xEF\xBB\xBF") ? 3 : 0);(C++20)或手写 memcmp 判断
  • 别用 std::istringstream 直接读数字——它不跳过 Unicode 空格类字符,BOM 不属于 std::isspace 范围
  • 如果文件由你控制生成,干脆禁用 BOM:VS Code 保存时选 “UTF-8” 而非 “UTF-8 with BOM”,Python open(..., encoding="utf-8-sig") 会自动剥离,但 C++ 不会

用 std::filesystem::path 处理含中文路径时 BOM 没影响?

有影响,但不在读取环节——std::filesystem::path 本身不碰文件内容,BOM 对它完全透明。真正出问题的是你用这个 path 构造 std::ifstream 后的读取逻辑。很多人误以为路径没问题就等于内容能读对,结果在解析阶段崩溃。

实操建议:

  • std::filesystem::path 只负责路径拼接与存在性检查,BOM 处理必须延后到流打开之后、首次读取之前
  • Windows 下路径含中文时,确保编译器用 UTF-8 源码(加 // clang-format off 和 BOM 无关,但影响源文件本身),否则 u8"中文.txt" 字面量可能被错误编码
  • 调试时用十六进制查看器确认文件真实开头字节,别只信编辑器右下角写的“UTF-8”——很多编辑器显示的是声明,不是实际内容

事情说清了就结束。BOM 不是可选项,是字节序列的一部分;C++ 不帮你猜,得你自己查、自己跳、自己转。

C++免费学习笔记(深入):立即使用
在学习笔记中,你将探索 C++ 的入门与实战技巧!

相关文章

c++速学教程(入门到精通)
c++速学教程(入门到精通)

c++怎么学习?c++怎么入门?c++在哪学?c++怎么学才快?不用担心,这里为大家提供了c++速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

c++

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
json数据格式
json数据格式

JSON是一种轻量级的数据交换格式。本专题为大家带来json数据格式相关文章,帮助大家解决问题。

2023.08.07

2215

5

json是什么
json是什么

JSON是一种轻量级的数据交换格式,具有简洁、易读、跨平台和语言的特点,JSON数据是通过键值对的方式进行组织,其中键是字符串,值可以是字符串、数值、布尔值、数组、对象或者null,在Web开发、数据交换和配置文件等方面得到广泛应用。本专题为大家提供json相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.23

3542

1

jquery怎么操作json
jquery怎么操作json

操作的方法有:1、“$.parseJSON(jsonString)”2、“$.getJSON(url, data, success)”;3、“$.each(obj, callback)”;4、“$.ajax()”。更多jquery怎么操作json的详细内容,可以访问本专题下面的文章。

2023.10.13

1176

3

go语言处理json数据方法
go语言处理json数据方法

本专题整合了go语言中处理json数据方法,阅读专题下面的文章了解更多详细内容。

2025.09.10

4079

7

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.31

1789

3

python中的format是什么意思
python中的format是什么意思

python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.06.27

1211

7

js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.03

1838

5

js截取字符串的方法
js截取字符串的方法

js截取字符串的方法有substring()方法、substr()方法、slice()方法、split()方法和slice()方法。本专题为大家提供字符串相关的文章、下载、课程内容,供大家免费下载体验。

2023.09.04

2924

5

java基础知识汇总
java基础知识汇总

java基础知识有Java的历史和特点、Java的开发环境、Java的基本数据类型、变量和常量、运算符和表达式、控制语句、数组和字符串等等知识点。想要知道更多关于java基础知识的朋友,请阅读本专题下面的的有关文章,欢迎大家来php中文网学习。

2023.10.24

6224

49

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
C++ Core Guidelines
C++ Core Guidelines

共0课时 | 0人学习

C++ Reference
C++ Reference

共0课时 | 0人学习

C++ 官方标准说明
C++ 官方标准说明

共0课时 | 0人学习