使用JavaScript实现一个简单的AST解析器_js编译原理

星宇君_2262

星宇君_2262

2025-10-31

336人浏览

原创

首先实现词法分析将代码转为Token,再通过递归下降解析器构建AST,正确处理运算优先级,最终生成反映表达式结构的抽象语法树。

使用javascript实现一个简单的ast解析器_js编译原理

要实现一个简单的AST(抽象语法树)解析器,我们需要从词法分析(Lexer)开始,接着进行语法分析(Parser),最终生成AST。这个过程是编译原理中的核心部分,适用于构建DSL、模板引擎或简化脚本语言。

词法分析:将代码拆分为 Token

词法分析的目标是把源代码字符串转换成一个个有意义的标记(Token)。比如对于表达式 2 + 3 * 4,我们希望得到类似:

[ { type: 'number', value: '2' }, { type: 'operator', value: '+' }, { type: 'number', value: '3' }, { type: 'operator', value: '*' }, { type: 'number', value: '4' } ]

下面是一个简单的 Lexer 实现:

Build Java agent transport gateways with Atmosphere
Build Java agent transport gateways with Atmosphere

使用Atmosphere构建通过WebSocket、SSE、gRPC、WebTransport、MCP、A2A和AG-UI流传输的JVM代理网关,并带有治理钩子。

下载
function tokenize(input) {
  const tokens = [];
  let i = 0;
<p>while (i </p><pre class="brush:php;toolbar:false;">if (char === '+' || char === '-' || char === '*' || char === '/') {
  tokens.push({ type: 'operator', value: char });
  i++;
  continue;
}

if (/\d/.test(char)) {
  let num = '';
  while (i <p>}</p><p>return tokens;
}</p>

语法分析:根据 Token 构建 AST

语法分析的任务是根据 Token 流构建出一棵树结构,体现运算的优先级和嵌套关系。我们采用递归下降的方式处理表达式,并优先处理乘除(高优先级),再处理加减(低优先级)。

目标AST结构示例:

{ type: 'BinaryExpression', operator: '+', left: { type: 'NumberLiteral', value: 2 }, right: { type: 'BinaryExpression', operator: '*', left: { type: 'NumberLiteral', value: 3 }, right: { type: 'NumberLiteral', value: 4 } } }

下面是 Parser 的实现:

function parse(tokens) {
  let current = 0;
<p>function walk() {
let token = tokens[current];</p><pre class="brush:php;toolbar:false;">if (token.type === 'number') {
  current++;
  return {
    type: 'NumberLiteral',
    value: token.value
  };
}

if (
  token.type === 'operator' &&
  (token.value === '+' || token.value === '-')
) {
  current++; // 跳过操作符
  return {
    type: 'BinaryExpression',
    operator: token.value,
    left: walk(),         // 左边可能是更复杂的表达式
    right: parseMultiplication() // 右边优先处理乘除
  };
}

throw new Error(`无法解析的 token: ${token.value}`);

}

// 单独处理乘除法,保证优先级更高 function parseMultiplication() { let token = tokens[current];

if (token.type === 'number') {
  current++;
  return {
    type: 'NumberLiteral',
    value: token.value
  };
}

if (
  token.type === 'operator' &&
  (token.value === '*' || token.value === '/')
) {
  current++;
  return {
    type: 'BinaryExpression',
    operator: token.value,
    left: parseMultiplication(),
    right: parseMultiplication()
  };
}

throw new Error(`期望一个数字或乘除操作符`);

}

const ast = { type: 'Program', body: [] };

while (current

return ast; }

测试整个流程

现在我们可以组合 Lexer 和 Parser 来测试一个简单表达式:

const code = "2 + 3 * 4";
const tokens = tokenize(code);
const ast = parse(tokens);
console.log(JSON.stringify(ast, null, 2));

输出结果会正确反映优先级:

{ "type": "Program", "body": [ { "type": "BinaryExpression", "operator": "+", "left": { "type": "NumberLiteral", "value": 2 }, "right": { "type": "BinaryExpression", "operator": "*", "left": { "type": "NumberLiteral", "value": 3 }, "right": { "type": "NumberLiteral", "value": 4 } } } ] }

扩展思路

这个解析器目前只支持整数和四则运算,但可以继续扩展:

  • 支持括号:遇到 ( 时递归解析内部表达式
  • 支持变量和标识符:添加 identifier 类型的 Token
  • 加入更多语法结构:如赋值、函数调用等
  • 使用 BNF 或工具生成更复杂语法分析器(如 nearley.js)

基本上就这些。通过手动实现 Lexer 和 Parser,你能更深入理解 JavaScript 是如何“读懂”代码的。不复杂但容易忽略细节,比如优先级处理和递归边界。

Java免费学习笔记:立即使用
解锁 Java 大师之旅:从入门到精通的终极指南

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

javascript java js json

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
while的用法
while的用法

while的用法是“while 条件: 代码块”,条件是一个表达式,当条件为真时,执行代码块,然后再次判断条件是否为真,如果为真则继续执行代码块,直到条件为假为止。本专题为大家提供while相关的文章、下载、课程内容,供大家免费下载体验。

2023.09.25

354

5

登录token无效
登录token无效

登录token无效解决方法:1、检查token的有效期限,如果token已经过期,需要重新获取一个新的token;2、检查token的签名,如果签名不正确,需要重新获取一个新的token;3、检查密钥的正确性,如果密钥不正确,需要重新获取一个新的token;4、使用HTTPS协议传输token,建议使用HTTPS协议进行传输 ;5、使用双因素认证,双因素认证可以提高账户的安全性。

2023.09.14

15666

6

登录token无效怎么办
登录token无效怎么办

登录token无效的解决办法有检查Token是否过期、检查Token是否正确、检查Token是否被篡改、检查Token是否与用户匹配、清除缓存或Cookie、检查网络连接和服务器状态、重新登录或请求新的Token、联系技术支持或开发人员等。本专题为大家提供token相关的文章、下载、课程内容,供大家免费下载体验。

2023.09.14

1825

5

token怎么获取
token怎么获取

获取token值的方法:1、小程序调用“wx.login()”获取 临时登录凭证code,并回传到开发者服务器;2、开发者服务器以code换取,用户唯一标识openid和会话密钥“session_key”。想了解更详细的内容,可以阅读本专题下面的文章。

2023.12.21

4417

3

token什么意思
token什么意思

token是一种用于表示用户权限、记录交易信息、支付虚拟货币的数字货币。可以用来在特定的网络上进行交易,用来购买或出售特定的虚拟货币,也可以用来支付特定的服务费用。想了解更多token什么意思的相关内容可以访问本专题下面的文章。

2024.03.01

6561

5

mysql标识符无效错误怎么解决
mysql标识符无效错误怎么解决

mysql标识符无效错误的解决办法:1、检查标识符是否被其他表或数据库使用;2、检查标识符是否包含特殊字符;3、使用引号包裹标识符;4、使用反引号包裹标识符;5、检查MySQL的配置文件等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2023.12.04

18380

5

Python标识符有哪些
Python标识符有哪些

Python标识符有变量标识符、函数标识符、类标识符、模块标识符、下划线开头的标识符、双下划线开头、双下划线结尾的标识符、整型标识符、浮点型标识符等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.02.23

1283

5

java标识符合集
java标识符合集

本专题整合了java标识符相关内容,想了解更多详细内容,请阅读下面的文章。

2025.06.11

9810

9

c++标识符介绍
c++标识符介绍

本专题整合了c++标识符相关内容,阅读专题下面的文章了解更多详细内容。

2025.08.07

3902

7

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
WebStorm 官方调试文档
WebStorm 官方调试文档

共0课时 | 0人学习

React 教程
React 教程

共58课时 | 12.5万人学习

TypeScript 教程
TypeScript 教程

共19课时 | 6.8万人学习