基于状态机的词法分析器通过预定义转移表单次遍历识别token，涵盖空白、数字、标识符、字符串等；token含类型、字面量和行号；状态表用constexpr数组实现高效跳转；缓冲区动态构建字面量；错误状态确保容错。
一、基于状态机的字符流扫描与状态跳转
当C++程序读取脚本源码字符串时，需依据当前字符类型和所处状态决定下一个状态。该过程不依赖正则表达式或递归下降，而是通过预定义的状态转移表驱动单次遍历完成Token识别。状态跳转逻辑覆盖空白、数字、标识符、运算符、字符串字面量等基本语法单元。
1、初始化状态为START，读取输入流首个字符；
2、根据当前状态与当前字符查表获取下一状态；
3、若转移后状态为ACCEPT或REJECT，则立即切分Token并重置状态为START；
4、若状态为IN_NUMBER，则持续接收数字或小数点；
5、若状态为IN_IDENTIFIER，则持续接收字母、数字或下划线；
6、若遇到双引号且当前状态为START，则切换至IN_STRING并记录起始位置。
二、Token结构体定义与类型枚举映射
每个识别出的词法单元必须携带类型标识与原始文本内容，以便后续语法分析使用。Token结构需轻量、可拷贝，并支持快速类型判别。类型枚举需覆盖关键字、标识符、数值、字符串、运算符及分隔符等全部基础类别。
1、定义enum class TokenType { IDENTIFIER, NUMBER, STRING, PLUS, MINUS, ASTERISK, SLASH, LPAREN, RPAREN, SEMICOLON, EOF_TOKEN }；
2、声明struct Token { TokenType type; std::string_view lexeme; int line; }；
3、为每个关键字（如"if"、"while"）建立std::unordered_map<:string_view tokentype>关键字映射表；
4、在识别IDENTIFIER状态结束后，查询该映射表以决定是否降级为保留字；
5、所有字符串字面量在退出IN_STRING状态时自动去除首尾双引号并处理转义序列。
三、状态转移表的二维数组实现
采用static constexpr std::array<:array>, STATE_COUNT>形式构建确定性跳转表，其中行索引为当前状态，列索引为ASCII字符值。该设计避免运行时分支判断，提升单字符处理速度。
1、定义枚举State { START, IN_NUMBER, IN_IDENTIFIER, IN_STRING, COMMENT, SKIP }；
2、为每个State枚举值分配唯一整型索引（0~5）；
3、对每个ASCII码0~255，填充对应状态下的下一状态：例如START状态下'0'-'9'跳转至IN_NUMBER，'a'-'z'跳转至IN_IDENTIFIER；
4、将换行符'\n'在COMMENT状态中设为ACCEPT，触发注释结束；
5、所有未显式定义的字符转移默认设为REJECT，强制报错或跳过。
四、逐字符推进与Token缓冲区管理
词法分析器需维持一个可增长的缓冲区用于暂存正在构建的Token字面量。每次状态变更时，仅当进入ACCEPT状态才将缓冲区内容封装为Token并清空；其余情况继续追加当前字符。
1、声明std::string buffer; 在每次进入新Token识别前调用buffer.clear()；
2、在状态为IN_NUMBER时，对每个合法数字字符执行buffer += ch；
3、在状态为IN_IDENTIFIER时，对每个合法标识符字符执行buffer += ch；
4、在状态为IN_STRING时，跳过开头双引号后，对非结束双引号字符执行buffer += ch；
5、当状态跳转至ACCEPT时，构造Token{type, std::string_view(buffer.data(), buffer.size()), current_line}并压入输出队列。
五、错误状态处理与非法字符捕获
当状态机遭遇无法识别的字符组合（如@、$、连续小数点、未闭合字符串）时，必须中断当前Token构建，生成ERROR Token并跳过该字符，确保分析器具备基本容错能力。
1、定义ERROR状态并在转移表中对所有非法组合指向该状态；
2、进入ERROR状态后，立即将当前字符加入buffer并构造Token{ERROR, std::string_view(&ch, 1), current_line}；
3、重置状态为START，但不消费当前字符，留待下一轮重新判断；
4、对连续两个小数点“..”单独设为INVALID_OPERATOR状态，区别于浮点数中的单个小数点；
5、若字符串到达文件末尾仍未闭合，必须生成UNTERMINATED_STRING错误而非静默截断。
C++免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 C++ 的入门与实战技巧！
