用C++手写Token分词状态机：以INITIAL为起点，单字符驱动状态跳转，显式处理==、!=等双字符运算符（用unget回退），空格换行走SKIP，注释需嵌套计数，ID后查关键字表，Token存string_view+位置，输入推荐预读string避免流副作用。
怎么用C++写一个不依赖第三方库的Token分词状态机
直接上手写，别碰flex或boost::spirit——你只是想把"if (x == 1) { y = 2; }"拆成IF、LPAREN、ID、EQ、INT这些Token，状态机够用，且可控性远高于正则匹配。
核心是：每个字符只读一次，状态决定下一步跳哪，遇到终止条件就产出Token。别试图“回退”或“多看一个字符”，那会把逻辑搞复杂。
常见错误现象：==被拆成两个EQ；123abc被识别成INT加ID而不是报错；注释没吃掉导致后续解析错位。
- 起始状态设为
INITIAL，不是START或0——名字要能一眼看出语义 - 所有跳转必须显式定义，比如
'='在INITIAL下进SEEN_EQ，再读'='才发EQ，否则发ASSIGN - 空格、制表符、换行统一走
SKIP状态，不产Token，但必须消耗掉——漏掉换行会导致后续行号错乱 -
/* */注释需要嵌套计数，单行//遇到\n立即退出，别用std::getline预读整行（破坏单字符流模型）
如何处理双字符运算符和标识符/关键字冲突
这是最容易翻车的地方：=和==、和、!和!=必须靠状态暂存+前瞻一字符解决，但不能真正“回退”。
正确做法是：进入临时状态（如SEEN_EXCL），读下一个字符；若是'='，发NE并回到INITIAL；否则把已读的'!'吐回去——但C++里没有“吐回去”，所以改成：在SEEN_EXCL状态里，把'!'记入当前token buffer，然后用unget()把下一个字符推回输入流。
注意std::istream::unget()有严格限制：只能推回一个字符，且连续调用unget()前必须有一次get()成功，否则行为未定义。
- 关键字（
if、while等）必须在识别出完整ID后查表，不能边读边比——否则iff会被截断成if+f -
123.45f这种带后缀的浮点字面量，状态要支持SEEN_DOT→SEEN_DIGIT_AFTER_DOT→SEEN_F，中间任意一步失败就回退到对应数字类型 - 十六进制
0xFF需在SEEN_ZERO后判断下一字符是否为'x'或'X'，不是就按八进制处理——C++标准规定如此
Token结构体怎么设计才不拖慢性能
别存std::string值。源码位置（行号、列号）和类型（TokenType枚举）必须存，但字面值内容能不拷贝就不拷贝。
典型做法：Token只存const char*起始地址和长度，配合原始输入缓冲区生命周期管理。如果你用std::string做输入，那就存std::string_view（C++17起），它零拷贝、轻量、可隐式构造。
错误示范：Token{ type: INT, value: std::to_string(num) }——这在每次数字解析时都分配堆内存，完全没必要。
-
TokenType必须是enum class，避免与整数混用导致静默错误 - 行号从1开始，列号从0开始（符合主流编辑器习惯），每次读到
'\n'就line++、col=0，别用std::count重算 - 如果支持错误恢复（比如跳过非法字符继续解析），Token里得加
is_error标志位，否则下游无法区分UNKNOWN是bug还是故意留的占位符
为什么用std::istream比char*更难写对
因为std::istream的peek()和get()在文件尾、错误流、宽字符场景下行为不一致，而手写状态机最怕不可控的IO副作用。
推荐方案：先把整个文件读进std::string，用const char*指针+长度控制遍历。这样你能精确控制“当前字符位置”，unget()问题彻底消失，调试时还能直接printf("%s", ptr)看剩余输入。
真实坑点：std::ifstream默认打开是text mode，在Windows下"\r\n"会被转成'\n'，导致行号计算偏移。用std::ios::binary打开，自己处理换行符。
- 不要在循环里反复调用
stream.eof()判断结束——它只在尝试读取失败后才置位，容易多跑一轮 - 用
ptr != end做主循环条件，end = data.c_str() + data.size()，干净利落 - 如果必须用流（比如解析网络数据流），那就封装一层
CharProvider抽象，内部缓存2~3个字符，对外提供next()和unnext()，屏蔽底层细节
状态机本身不复杂，难的是边界情况：BOM头、UTF-8多字节字符（若需支持）、行首缩进空格是否计入列号、字符串字面量里的转义序列……这些不写进核心状态跳转表，而是作为独立子状态处理。越早意识到“词法分析不是纯状态跳转，而是状态跳转+上下文快照”，就越不容易写出半吊子实现。
C++免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 C++ 的入门与实战技巧！
