需通过状态机驱动字符流识别Token，核心步骤包括：一、定义TokenType和LexerState枚举，用std::array构建状态转移表，按字符类别而非ASCII值跳转；二、实现字符分类预处理函数，将输入字符映射为有限类别码以提升查表效率。
如果您正在实现 C++ 脚本的词法分析器，需通过状态机驱动字符流识别各类 Token（如标识符、数字、字符串、运算符等），则状态跳转逻辑的正确性直接决定分词结果的准确性。以下是实现该功能的核心步骤：
一、定义状态枚举与转移表结构
状态机需预设所有合法状态（如初始态、标识符中、数字中、字符串开始、注释内等），并以二维数组或 map 映射方式建立「当前状态 + 当前字符类型 → 下一状态」的跳转规则。字符类型按语义归类（如字母、数字、引号、斜杠、空白、运算符符号等），避免对每个 ASCII 值硬编码。
1、声明 enum class TokenType { IDENTIFIER, NUMBER, STRING, PLUS, MINUS, ASSIGN, COMMENT, WHITESPACE, UNKNOWN }；
2、声明 enum class LexerState { START, IN_IDENTIFIER, IN_NUMBER, IN_STRING, IN_COMMENT, AFTER_SLASH, ERROR }；
3、使用 std::array<:array>, 7> 构建转移表，其中行索引为当前状态，列索引为 static_cast
4、对每组（状态，字符类别）调用初始化函数填充转移表，例如：table[START][’a’] = IN_IDENTIFIER；table[IN_IDENTIFIER][’0’] = IN_IDENTIFIER；
二、字符分类预处理函数
为提升跳转效率，需将任意输入字符映射为有限类别码（0–9），而非直接使用 ASCII 值查表。该映射屏蔽大小写差异、合并数字范围、统一符号组，并将不可见字符归为 WHITESPACE 或 INVALID 类别。
1、定义 constexpr std::array 2、在每次读取字符后，执行 uint8_t cls = CHAR_CLASS[static_cast 3、使用 cls 作为转移表第二维索引，替代原始字符值，降低表体积并加速访问； 循环逐字符消费输入流，依据当前状态和字符类别查表跳转；当进入终止状态（如从 IN_NUMBER 跳至 START）时，立即截取已缓冲的字符序列构造 Token，并重置缓冲区。关键在于区分“接受状态”与“中间状态”，仅在明确可结束的位置触发 Token 输出。 1、初始化 state = LexerState::START，pos = 0，buffer.clear()； 2、while (pos (ch)]; LexerState next = transition_table[state][cls]; 3、if (next == LexerState::ERROR) { throw std::runtime_error("Lexical error at position " + std::to_string(pos)); } 4、if (state != LexerState::START && next == LexerState::START) { emitToken(buffer, state); buffer.clear(); } 5、if (next != LexerState::START && next != LexerState::ERROR) { buffer += ch; } 6、state = next; ++pos; } 字符串字面量与块注释需支持跨行及转义序列，不能依赖单层状态跳转。必须引入子状态栈或递进式子状态（如 IN_STRING → ESCAPE_SEQUENCE → IN_STRING），并在遇到结束符前禁止退出该主状态分支。 1、当 state == IN_STRING 且 ch == '\' 时，设置临时子状态 ESCAPE_NEXT，并跳转至 ESCAPE_NEXT； 2、在 ESCAPE_NEXT 状态下，不将 '\' 加入 buffer，而是读取下一字符，根据其值决定是否转义（如 'n'→'
'，'"'→'"'），然后强制跳回 IN_STRING； 3、若 ESCAPE_NEXT 遇到换行或 EOF，则跳转至 ERROR； 4、当 state == IN_STRING 且 ch == '"' 且前一字符非 '\' 时，跳转至 START 并 emit STRING Token； 标识符与关键字共享同一状态路径（IN_IDENTIFIER），因此必须在状态退出后进行字符串比对。若缓冲内容匹配预定义关键字集合（如 "if"、"while"、"return"），则生成对应关键字 Token；否则生成 IDENTIFIER Token。该判断不可在状态机内部完成，以免破坏状态正交性。 1、定义 const std::unordered_set<:string> KEYWORDS = {"if", "else", "for", "while", "return", "int", "char", "void"}； 2、在 emitToken(buffer, state) 中，当 state == IN_IDENTIFIER 时，执行 if (KEYWORDS.find(buffer) != KEYWORDS.end()) { return Token{TokenType::KEYWORD, buffer}; }； 3、否则返回 Token{TokenType::IDENTIFIER, buffer}； 4、注意：关键字匹配必须区分大小写，且 buffer 内容不得包含首尾空格或控制字符；三、主状态机循环与 Token 提取逻辑
四、特殊 Token 的嵌套状态处理
五、关键字与标识符的后置识别机制
C++免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 C++ 的入门与实战技巧！
