词法分析器需通过DFA将字符流切分为Token，包含定义TokenType枚举、Token结构体、源码位置追踪；实现advance/peek/peekNext字符操作；按贪心策略识别单双字符运算符。
如果您希望在 C++ 中构建一个轻量级脚本语言的前端组件，词法分析器是解析流程的第一步。它需将输入字符流按规则切分为有意义的 Token，并通过确定性有限状态机（DFA）驱动识别过程。以下是实现该词法分析器的核心步骤：
一、定义 Token 枚举与基础结构
Token 类型决定了后续语法分析可识别的语言成分，需覆盖标识符、字面量、运算符、分隔符等基本类别。每个 Token 实例应携带类型、原始文本、起始行号与列号信息，便于错误定位和调试。
1、声明枚举 class TokenType { IDENTIFIER, NUMBER, PLUS, MINUS, STAR, SLASH, LPAREN, RPAREN, SEMICOLON, EOF };。
2、定义结构体 struct Token { TokenType type; std::string lexeme; int line; int column; };。
3、在词法分析器类中声明私有成员 std::string source; size_t current = 0; int line = 1; int column = 0;。
二、构建字符读取与回退机制
状态机需逐字符推进，同时支持单字符回退以应对多字符 Token（如 == 或 >=）的试探性匹配。peek() 方法用于预览下一个字符而不消耗位置，advance() 则移动 current 并更新 column 计数，遇到换行时同步递增 line。
1、实现 char advance() { if (current >= source.length()) return ' '; char c = source[current++]; if (c == ' ') { line++; column = 0; } else { column++; } return c; }。
2、实现 char peek() { if (current >= source.length()) return ' '; return source[current]; }。
3、实现 char peekNext() { if (current + 1 >= source.length()) return ' '; return source[current + 1]; }。
三、实现单字符与双字符运算符识别
运算符识别依赖于当前字符与下一字符的组合判断。状态机在此处采用“贪心匹配”策略：优先尝试匹配双字符序列（如 !=、
1、在 scanToken() 主循环中，读取当前字符 c = advance()。
2、若 c 为 '+'，检查 peek() 是否为 '='；若是，则生成 TokenType::PLUS_EQUAL，否则生成 TokenType::PLUS。
3、若 c 为 '!'，检查 peek() 是否为 '='；若是，则生成 TokenType::BANG_EQUAL，否则生成 TokenType::BANG。
4、若 c 为 '='，检查 peek() 是否为 '='；若是，则生成 TokenType::EQUAL_EQUAL，否则生成 TokenType::EQUAL。
5、若 c 为 ''，同样按 peek() 结果区分 SINGLE 与 DOUBLE 形式。
四、处理标识符与关键字识别
标识符以字母或下划线开头，后接字母、数字或下划线。识别完成后需查表比对是否为保留字（如 if、while、return），从而赋予对应关键字 Token 类型，而非泛化的 IDENTIFIER。
1、当遇到字母或 '_' 时，循环调用 advance() 直至字符不再满足 isalnum(c) || c == '_'。
2、提取子串 std::string text = source.substr(start, current - start);。
3、使用 std::unordered_map<:string tokentype> keywords = {{"if", IF}, {"else", ELSE}, {"while", WHILE}, {"return", RETURN}}; 进行 O(1) 查找。
4、若命中关键字，返回对应 Token；否则返回 TokenType::IDENTIFIER。
五、解析数字字面量（整数与小数）
数字识别需支持十进制整数（123）、带小数点的浮点数（12.34）以及科学计数法（1.23e-4）的初步结构。状态机在此阶段需区分整数部分、小数点、小数部分及指数部分。
1、检测首字符是否为数字，进入数字识别分支。
2、循环 consumeDigit() 提取整数部分；若遇 '.' 且其后为数字，则继续提取小数部分。
3、若小数点后无数字，报错或按整数处理（取决于设计约束）。
4、若遇到 'e' 或 'E'，检查其后是否有可选 '+'/'-' 及至少一位数字，构成指数部分。
5、将完整数字字符串转换为 double 或保留为字符串，生成 TokenType::NUMBER。
六、跳过空白字符与注释
空白字符（空格、制表符、换行）不生成 Token，需被静默跳过。单行注释以 // 开头，需跳过至行尾；多行注释 /* ... */ 需成对匹配，内部可含换行，但不可嵌套。
1、在 scanToken() 循环起始处，若 c 为空白符，直接 continue；若为 ' '，line++ 并 column = 0。
2、若 c 为 '/'，检查 peek()：若为 '/'，则循环 advance() 直至 ' ' 或 EOF；若为 '*'，则进入多行注释状态，匹配 '*/' 并跳过中间所有字符。
3、若注释未正常闭合（如 EOF 前未见 '*/'），生成 TokenType::ERROR 且附带 "Unterminated block comment" 提示。
七、主状态机循环与 Token 生成调度
scanToken() 是核心驱动函数，依据当前字符进入不同识别分支。每个分支完成匹配后，构造 Token 并 push 到 tokens 容器；循环持续至 source 耗尽，最终追加一个 TokenType::EOF Token。
1、初始化 while (current
2、使用 switch (c) 分发至各字符处理块：字母走标识符路径，数字走数字路径，/ 走注释或运算符路径，引号走字符串路径等。
3、每个分支末尾调用 tokens.push_back(Token{type, lexeme, line, column});。
4、循环结束后 tokens.push_back(Token{TokenType::EOF, "", line, column});。
八、字符串字面量解析（含转义处理）
双引号包围的字符串需支持常见转义序列（ 、 、\、"），状态机在引号内逐字符扫描，遇反斜杠则读取下一字符并映射为实际值，否则原样保留。
1、记录起始引号位置 start = current - 1；进入字符串主体扫描。
2、循环读取字符：若为 '"'，结束字符串；若为 '\'，检查 peek() 并转换为对应控制字符（如 'n' → ' '）；否则添加原字符。
3、若循环中遇 EOF，生成 TokenType::ERROR 且提示 "Unterminated string"。
4、提取内容 substring 并去除首尾引号，生成 TokenType::STRING。
C++免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 C++ 的入门与实战技巧！
