为什么需要性能监控?聊聊Node.js性能监控

轻明姑娘_3114

轻明姑娘_3114

2022-08-11

2569人浏览

转载

为什么需要性能监控?下面本篇就来带大家了解一下node.js性能监控,希望对大家有所帮助!

为什么需要性能监控

Node作为Javascript在服务端的一个运行时(Runtime),极大的丰富了Javascript的应用场景。

但是Node.js Runtime本身是一个黑盒,我们无法感知运行时的状态,对于线上问题也难以复现。

因此性能监控是Node.js应用程序「正常运行」的基石。不仅可以随时监控运行时的各项指标,还可以帮助排查异常场景问题。

组成部分

性能监控可以分为两个部分:

  • 性能指标的采集和展示

    • 进程级别的数据:CPU,Memory,Heap,GC等
    • 系统级别的数据:磁盘占用率,I/O负载,TCP/UDP连接状态等
    • 应用层的数据:QPS,慢HTTP,业务处理链路日志等
  • 性能数据的抓取和分析

    • Heapsnapshot:堆内存快照
    • Cpuprofile:CPU快照
    • Coredump:应用崩溃快照

方案对比

1.png

从上图可以看到目前主流的三种Node.js性能监控方案的优缺点,以下是简单介绍这三种方案的组成:

  • Prometheus

    • prom-client是prometheus的nodejs实现,用于采集性能指标
    • grafana是一个可视化平台,用来展示各种数据图表,支持prometheus的接入
    • 只支持了性能指标的采集和展示,排查问题还需要其他快照工具,才能组成闭环
  • AliNode

    • alinode是一个兼容官方nodejs的拓展运行时,提供了一些额外功能:

      • v8的运行时内存状态监控
      • libuv的运行时状态监控
      • 在线故障诊断功能:堆快照、CPU Profile、GC Trace等
    • agenthub是一个常驻进程,用来收集性能指标并上报

    • 整体从监控,展示,快照,分析形成闭环,接入便捷简单,但是拓展运行时还是有风险

  • Easy-Monitor

    • xprofiler 负责进行实时的运行时状态采样,以及输出性能日志(也就是性能数据的抓取)
    • xtransit 负责性能日志的采集与传输
    • 跟AliNode最大的区别在于使用了Node.js Addon来实现采样器

性能指标

CPU

2.png

通过process.cpuUsage()可以获取当前进程的CPU耗时数据,返回值的单位是微秒

  • user:进程执行时本身消耗的CPU时间
  • system:进程执行时系统消耗的CPU时间

Memory

3.png

通过process.memoryUsage()可以获取当前进程的内存分配数据,返回值的单位是字节

  • rss:常驻内存,node进程分配的总内存大小
  • heapTotal:v8申请的堆内存大小
  • heapUsed:v8已使用的堆内存大小
  • external:v8管理的C++所占用的内存大小
  • arrayBuffers:分配给ArrayBuffer的内存大小

4.png

从上图可以看出,rss包含代码段(Code Segment)、栈内存(Stack)、堆内存(Heap)

  • Code Segment:存储代码段
  • Stack:存储局部变量和管理函数调用
  • Heap:存储对象、闭包、或者其他一切

Heap

通过v8.getHeapStatistics()和v8.getHeapSpaceStatistics()可以获取v8堆内存和堆空间的分析数据,下图展示了v8的堆内存组成分布:

5.png

堆内存空间先划分为空间(space),空间又划分为页(page),内存按照1MB对齐进行分页。

  • New Space:新生代空间,用来存放一些生命周期比较短的对象数据,平分为两个空间(空间类型为semi space):from space,to space

    • 晋升条件:在New space中经过两次GC依旧存活
  • Old Space:老生代空间,用来存放New Space晋升的对象

  • Code Space:存放v8 JIT编译后的可执行代码

  • Map Space:存放Object指向的隐藏类的指针对象,隐藏类指针是v8根据运行时记录下的对象布局结构,用于快速访问对象成员

  • Large Object Space:用于存放大于1MB而无法分配到页的对象

GC

v8的垃圾回收算法分为两类:

  • Major GC:使用了Mark-Sweep-Compact算法,用于老生代的对象回收
  • Minor GC:使用了Scavenge算法,用于新生代的对象回收

Scavenge

7.gif

前提:New space分为from和to两个对象空间

触发时机:当New space空间满了

步骤:

  • 在from space中,进行宽度优先遍历

  • 发现存活(可达)对象

    • 已经存活过一次(经历过一次Scavange),晋升到Old space
    • 其他的复制到to space中
  • 当复制结束时,to space中只有存活的对象,from space就被清空了

  • 交换from space和to space,开始下一轮Scavenge

适用于回收频繁,内存不大的对象,典型的空间换时间的策略,缺点是浪费了多一倍的空间

Mark-Sweep-Compact

8.gif

三个步骤:标记、清除、整理

触发时机:当Old space空间满了

步骤:

  • Marking(三色标记法)

    • 白色:代表可回收对象
    • 黑色:代表不可回收对象,且其所产生的引用都已经扫描完毕
    • 灰色:代表不可回收对象,且其所产生的引用还没扫描完
    • 将V8根对象直接引用的对象放进一个marking queue(显式栈)中,并将这些对象标记为灰色
    • 从这些对象开始做深度优先遍历,每访问一个对象,将该对象从marking queue pop出来,并标记为黑色
    • 然后将该对象引用下的所有白色对象标记为灰色,push到marking queue上,如此往复
    • 直到栈上所有对象都pop掉为止,老生代的对象只剩下黑色(不可回收)和白色(可以回收)两种了
    • PS:当一个对象太大,无法push到空间有限的栈时,v8会把这个对象保留灰色跳过,将整个栈标记为溢出状态(overflowed),等栈清空后,再次进行遍历标记,这样导致需要额外扫描一遍堆
  • Sweep

    • 清除白色对象
    • 会造成内存空间不连续
  • Compact

    • 由于Sweep会造成内存空间不连续,不利于新对象进入GC
    • 把黑色(存活)对象移到Old space的一端,这样清除出来的空间就是连续完整的
    • 虽然可以解决内存碎片问题,但是会增加停顿时间(执行速度慢)
    • 在空间不足以对新生代晋升过来的对象进行分配时才使用mark-compact

Stop-The-World

在最开始v8进行垃圾回收时,需要停止程序的运行,扫描完整个堆,回收完内存,才会重新运行程序。这种行为就叫全停顿(Stop-The-World)

虽然新生代活动对象较小,回收频繁,全停顿,影响不大,但是老生代存活对象多且大,标记、清理、整理等造成的停顿就会比较严重。

优化策略

  • 增量回收(Incremental Marking):在Marking阶段,当堆达到一定大小时,开始增量GC,每次分配了一定量的内存后,就暂停运行程序,做几毫秒到几十毫秒的marking,然后恢复程序的运行。

这个理念其实有点像React框架中的Fiber架构,只有在浏览器的空闲时间才会去遍历Fiber Tree执行对应的任务,否则延迟执行,尽可能少地影响主线程的任务,避免应用卡顿,提升应用性能。

Build n8n workflows from node docs, templates, and schemas through MCP
Build n8n workflows from node docs, templates, and schemas through MCP

当代理需要在设计或调试工作流时结构化访问 n8n 节点、属性、操作和模板示例时,请使用 n8n-MCP,而不是通过原始文档猜测或手动点击 n8n UI。

下载
  • 并发清除(Concurrent Sweeping):让其他线程同时来做 sweeping,而不用担心和执行程序的主线程冲突
  • 并行清除(Parallel Sweeping):让多个 Sweeping 线程同时工作,提升 sweeping 的吞吐量,缩短整个 GC 的周期

空间调整

由于v8对于新老生代的空间默认限制了大小

  • New space 默认限制:64位系统为32M,32位系统为16M
  • Old space 默认限制:64位系统为1400M,32位系统为700M

因此node提供了两个参数用于调整新老生代的空间上限

  • --max-semi-space-size:设置New Space空间的最大值
  • --max-old-space-size:设置Old Space空间的最大值

查看GC日志

node也提供了三种查看GC日志的方式:

  • --trace_gc:一行日志简要描述每次GC时的时间、类型、堆大小变化和产生原因
  • --trace_gc_verbose:展示每次GC后每个V8堆空间的详细状况
  • --trace_gc_nvp:每次GC的详细键值对信息,包含GC类型,暂停时间,内存变化等

由于GC日志比较原始,还需要二次处理,可以使用AliNode团队开发的Node0

快照工具

Heapsnapshot

对于运行程序的堆内存进行快照采样,可以用来分析内存的消耗以及变化

生成方式

生成.heapsnapshot文件有以下几种方式:

9.png

10.png

  • 使用nodejs内置的v8模块提供的api

    • v8.getHeapSnapshot()

    11.png

    • v8.writeHeapSnapshot(fileName)

    12.png

  • 使用Node3

13.png

分析方法

生成的.heapsnapshot文件,可以在Chrome devtools工具栏的Memory,选择上传后,展示结果如下图:

14.png

默认的视图是Summary视图,在这里我们要关注最右边两栏:Shallow Size 和 Retained Size

  • Shallow Size:表示该对象本身在v8堆内存分配的大小
  • Retained Size:表示该对象所有引用对象的Shallow Size之和

当发现Retained Size特别大时,该对象内部可能存在内存泄漏,可以进一步展开去定位问题

还有Comparison视图是用于比较分析两个不同时段的堆快照,通过Delta列可以筛选出内存变化最大的对象

15.png

Cpuprofile

对于运行程序的CPU进行快照采样,可以用来分析CPU的耗时及占比

生成方式

生成.cpuprofile文件有以下几种方式:

  • Node4(node官方提供的工具,不过已经无法支持node v10以上的版本,并不再维护)
  • Node3(国人维护版本,支持到最新node v18,持续维护中)

这是采集5分钟的CPU Profile样例

16.png

分析方法

生成的.cpuprofile文件,可以在Chrome devtools工具栏的Javascript Profiler(不在默认tab,需要在工具栏右侧的更多中打开显示),选择上传文件后,展示结果如下图:

17.png

默认的视图是Heavy视图,在这里我们看到有两栏:Self Time和Total Time

  • Self Time:代表此函数本身(不包含其他调用)的执行耗时
  • Total Time:代表此函数(包含其他调用函数)的总执行耗时

当发现Total Time和Self Time偏差较大时,该函数可能存在耗时比较多的CPU密集型计算,也可以展开进一步定位排查

Codedump

当应用意外崩溃终止时,系统会自动记录下进程crash掉那一刻的内存分配信息,Program Counter以及堆栈指针等关键信息来生成core文件

生成方式

生成.core文件的三种方法:

  • ulimit -c unlimited打开内核限制
  • node --abort-on-uncaught-exceptionnode启动添加此参数,可以在应用出现未捕获的异常时也能生成一份core文件
  • gcore 手动生成core文件

分析方法

获取.core文件后,可以通过mdb、gdb、lldb等工具实现解析诊断实际进程crash的原因

  • llnode `which node` -c /path/to/core/dump

案例分析

观察

18.png

从监控可以观察到堆内存在持续上升,因此需要堆快照进行排查

分析

19.png

根据heapsnapshot可以分析排查到有一个newThing的对象一直保持着比较大的内存

排查

20.png

从代码中可以看到虽然unused方法没有调用,但是newThing对象是引用自theThing,导致其一直存在于replaceThing这个函数的执行上下文中,没有被释放,这就是典型的由于闭包产生的内存泄漏案例

小结

常见的内存泄漏有以下几种情况:

  • 全局变量
  • 闭包
  • 定时器
  • 事件监听
  • 缓存

因此在上述这几种情况时,一定要谨慎考虑对象在内存中是否会被自动回收,不会被自动回收的话,需要手动进行回收,比如手动把对象设置为null、移除定时器、解绑事件监听等

总结

至此,本文已经对整个Node.js的性能监控体系进行了详细的介绍。

首先,介绍了性能监控解决的问题,组成部分以及主流方案的优缺点对比。

然后,针对两大部分性能指标和快照工具进行了具体的介绍,

  • 性能指标主要关注CPU、内存、堆空间、GC几个指标,同时介绍了v8的GC策略和GC优化方案,
  • 快照工具主要有堆快照、CPU快照以及崩溃时的Coredump

最后,从观察、分析、排查再现一个简单的内存泄漏案例,并总结了常见内存泄漏的情况和解决方案。

希望这一篇文章能够帮助大家对整个Node.js的性能监控体系有所了解。

更多node相关知识,请访问:Node6!

相关文章

数码产品性能查询
数码产品性能查询

该软件包括了市面上所有手机CPU,手机跑分情况,电脑CPU,电脑产品信息等等,方便需要大家查阅数码产品最新情况,了解产品特性,能够进行对比选择最具性价比的商品。

下载

相关标签:

nodejs node

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
GoFrame框架Web开发与路由中间件
GoFrame框架Web开发与路由中间件

本专题聚焦GoFrame框架的Web开发,拆解路由注册与匹配规则、请求参数获取、参数校验与中间件执行顺序,说明统一响应、JWT鉴权、文件上传与接口文档生成的落地方式,并补充优雅重启与测试实践。

2026.11.17

20

15

GoFrame框架安装与gf命令行工具
GoFrame框架安装与gf命令行工具

本专题围绕GoFrame框架的安装与工具链配置展开,讲清Go版本要求、gf命令行的安装方式、代理镜像与依赖准备,说明项目初始化、热编译、交叉编译打包的做法,并整理安装阶段的常见报错与验证步骤。

2026.11.17

60

15

GoFrame框架零基础入门
GoFrame框架零基础入门

本专题整理GoFrame框架的入门知识,从模块化设计理念、环境准备到跑通第一个Web服务,讲清目录分层、配置加载、日志与中间件的用法,并对比Gin、Go-Zero的差异,帮助Go开发者建立整体认知。

2026.11.17

60

15

SQLAlchemy 一对多关系怎么建立
SQLAlchemy 一对多关系怎么建立

SQLAlchemy 一对多关系怎么建立?本专题整理父子表外键、relationship 双向映射、关联查询、级联删除和加载优化等相关文章,帮助你理解并实现常见的 ORM 关系建模。

2026.11.17

20

10

SQLAlchemy 如何增删改查
SQLAlchemy 如何增删改查

SQLAlchemy 如何增删改查?本专题整理 ORM 新增记录、条件查询、更新和删除、Session 事务提交与批量处理等实用文章,帮助你掌握 Python 数据库操作流程。

2026.11.17

60

11

SQLAlchemy ORM 模型怎么写
SQLAlchemy ORM 模型怎么写

SQLAlchemy ORM 模型怎么写?本专题整理模型类定义、Mapped 字段映射、主键与约束、表结构创建和常见报错的相关文章,帮助你从基础配置到实际建模逐步掌握 SQLAlchemy。

2026.11.17

40

16

Go-Zero API开发使用教程
Go-Zero API开发使用教程

本专题聚焦Go-Zero的API开发,拆解.api描述文件的语法结构、路由与分组定义、参数绑定与校验规则,说明统一响应体、JWT鉴权、跨域与接口文档生成的落地方式,并给出网关聚合与接口测试的实践建议。

2026.11.12

180

15

Go-Zero安装与goctl环境配置教程
Go-Zero安装与goctl环境配置教程

本专题围绕Go-Zero的安装与工具链配置展开,讲清Go版本要求、goctl安装方式、代理镜像、protoc依赖与环境变量设置,说明多版本共存、升级回退与CI流水线安装的做法,并整理安装阶段的常见报错与验证步骤。

2026.11.12

140

15

Go-Zero零基础入门教程
Go-Zero零基础入门教程

本专题整理Go-Zero的入门知识,从框架定位、环境准备到跑通第一个API服务,讲清目录分层、配置加载、日志与中间件的基本用法,并对比Gin、Kratos的差异,帮助Go开发者建立整体认知,判断它是否适合当前项目。

2026.11.12

160

15

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
快速入门Node.JS全套完整版
快速入门Node.JS全套完整版

共83课时 | 13.7万人学习

nodejs开发基础教程
nodejs开发基础教程

共15课时 | 5万人学习

JavaScript设计模式视频教程
JavaScript设计模式视频教程

共28课时 | 6.4万人学习