Sails.js如何处理XML文件上传和流式处理

陌丽姑娘_9410

陌丽姑娘_9410

2026-01-27

919人浏览

原创

XML文件上传需绕过body-parser拦截,用skipper的.stream()获取原始流,配合sax-js事件驱动解析,避免内存溢出;同时注意Content-Type、文件名编码及错误处理。

sails.js如何处理xml文件上传和流式处理

XML文件上传时body-parser会拦截并报错

Sails.js默认使用body-parser中间件,它会自动解析application/json、application/x-www-form-urlencoded和text/*类型的请求体,但遇到application/xml或text/xml时——尤其是文件上传场景下——常抛出UnsupportedMediaTypeError或直接截断原始流。这不是Sails的bug,而是body-parser主动拒绝未声明支持的类型。

解决方法是禁用对XML内容类型的自动解析:

  • 在config/http.js中,将bodyParser配置为跳过application/xml和text/xml
  • 或者更稳妥地:完全移除bodyParser中间件,改由控制器手动处理原始req流
  • 注意:禁用bodyParser后,所有req.body将为空对象,JSON/form数据也需自行解析(除非你只处理XML上传)

用skipper直接接收XML文件流

Sails内置的文件上传中间件skipper(通过req.file())默认只接受multipart/form-data,且会把整个文件读入内存再触发回调。这对大XML文件很危险——容易OOM。必须启用流式处理。

关键点:

  • req.file('xml')返回的是SkipperDisk或SkipperS3流,不是普通fs.ReadStream,但它实现了Readable接口
  • 务必设置maxBytes防止恶意超大上传
  • 不要调用.upload(),改用.stream()获取原始流
module.exports = {
  uploadXml: async function (req, res) {
    try {
      const file = req.file('xml');
      // 直接获取流,不落地磁盘
      const stream = await file.stream();

      // 接入XML流式解析器,如 sax-js 或 xml2js.Parser({ stream: true })
      const parser = new require('sax').Parser(true);
      stream.pipe(parser);

      parser.on('opentag', (node) => {
        console.log('tag:', node.name);
      });

      parser.on('error', (err) => {
        return res.serverError(err.message);
      });

      parser.on('end', () => {
        return res.ok({ status: 'parsed' });
      });
    } catch (err) {
      res.badRequest(err.message);
    }
  }
};

sax-js比xml2js更适合流式XML处理

xml2js的parseString是全量解析,即使设stream: true也只是“伪流式”——它仍需收集全部文本再触发回调。sax-js才是真正的事件驱动流解析器,内存占用恒定,适合GB级XML。

前端设计引擎
前端设计引擎

使用此技能可创建独具特色、具备生产级质量的前端界面,设计品质高。当用户要求构建网页组件、页面、产物、海报或应用程序时(例如:网站、落地页、仪表盘、React 组件、HTML/CSS 布局,或对任意 Web UI 进行样式优化与视觉美化),请启用该能力。输出需为富有创意、精雕细琢的代码与 UI 设计,避免千篇一律的 AI 风格。

下载

注意事项:

  • sax不校验XML格式完整性,遇到损坏标签会触发error事件而非静默忽略
  • 若需XPath查询或DOM操作,不能依赖sax,得先用流写入临时文件再用libxmljs等解析
  • 确保Content-Type是application/xml或text/xml,否则skipper可能无法识别字段

上传路径中的filename乱码与编码问题

浏览器上传XML时,Content-Disposition里的filename可能含中文,而skipper默认按latin1解码,导致乱码为?????.xml。这不是XML内容问题,是HTTP头解析缺陷。

修复方式:

  • 前端用encodeURIComponent对文件名编码,并在Content-Disposition中显式声明filename*=UTF-8''...
  • 后端在req.file()前,用require('iconv-lite').decode()手动重解码req.headers['content-disposition']
  • 更简单方案:忽略原始文件名,用uuid()生成唯一ID,从XML内容里提取业务标识(如)

流式处理XML的核心就两条:绕过body-parser拿到原始流,用sax边读边解析。其余都是围绕这两点打补丁——比如乱码、超大、错误恢复。别试图把XML当字符串load进内存再parse,那是最慢也最容易崩的方式。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
什么是中间件
什么是中间件

中间件是一种软件组件,充当不兼容组件之间的桥梁,提供额外服务,例如集成异构系统、提供常用服务、提高应用程序性能,以及简化应用程序开发。想了解更多中间件的相关内容,可以阅读本专题下面的文章。

2024.05.11

689

5

Golang 中间件开发与微服务架构
Golang 中间件开发与微服务架构

本专题系统讲解 Golang 在微服务架构中的中间件开发,包括日志处理、限流与熔断、认证与授权、服务监控、API 网关设计等常见中间件功能的实现。通过实战项目,帮助开发者理解如何使用 Go 编写高效、可扩展的中间件组件,并在微服务环境中进行灵活部署与管理。

2025.12.18

644

18

ThinkPHP中间件机制与请求拦截处理实践
ThinkPHP中间件机制与请求拦截处理实践

本专题围绕 ThinkPHP 中间件体系展开,深入讲解中间件的定义、注册与执行流程。内容包括全局中间件与路由中间件的区别、请求前后处理逻辑、自定义中间件开发以及权限验证与日志处理应用。通过实际案例,帮助开发者掌握中间件在项目中的核心作用与最佳实践。

2026.03.31

458

17

json数据格式
json数据格式

JSON是一种轻量级的数据交换格式。本专题为大家带来json数据格式相关文章,帮助大家解决问题。

2023.08.07

2235

5

json是什么
json是什么

JSON是一种轻量级的数据交换格式,具有简洁、易读、跨平台和语言的特点,JSON数据是通过键值对的方式进行组织,其中键是字符串,值可以是字符串、数值、布尔值、数组、对象或者null,在Web开发、数据交换和配置文件等方面得到广泛应用。本专题为大家提供json相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.23

3602

1

jquery怎么操作json
jquery怎么操作json

操作的方法有:1、“$.parseJSON(jsonString)”2、“$.getJSON(url, data, success)”;3、“$.each(obj, callback)”;4、“$.ajax()”。更多jquery怎么操作json的详细内容,可以访问本专题下面的文章。

2023.10.13

1196

3

go语言处理json数据方法
go语言处理json数据方法

本专题整合了go语言中处理json数据方法,阅读专题下面的文章了解更多详细内容。

2025.09.10

4159

7

require的用法
require的用法

require的用法有引入模块、导入类或方法、执行特定任务。想了解更多require的相关内容,可以阅读本专题下面的文章。

2023.11.27

1975

6

pdf怎么转换成xml格式
pdf怎么转换成xml格式

将 pdf 转换为 xml 的方法:1. 使用在线转换器;2. 使用桌面软件(如 adobe acrobat、itext);3. 使用命令行工具(如 pdftoxml)。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.01

4904

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
WEB前端教程【HTML5+CSS3+JS】
WEB前端教程【HTML5+CSS3+JS】

共101课时 | 21.3万人学习

JS进阶与BootStrap学习
JS进阶与BootStrap学习

共39课时 | 4.9万人学习