vscode本身不提供大并发能力，关键在于用node.js异步i/o、流式处理（如stream-json）和worker thread分片协作来规避内存瓶颈；直接json.parse()会因堆内存超限导致oom或fatal error。
VSCode 本身不提供“大并发”能力，Node.js 单进程默认也不支持真正的并行计算；所谓“大并发清洗 JSON”，实际是用 Node.js 的异步 I/O + 流式处理 + 子进程/Worker Thread 分片协作来规避内存瓶颈和阻塞——关键不在 VSCode，而在你如何组织脚本、选对 API、避开常见陷阱。
为什么直接 JSON.parse() 大文件会崩
Node.js 默认 V8 堆内存上限约 1.4GB（32 位更低），JSON.parse() 必须把整个字符串一次性载入内存再构建对象树。一个 300MB 的 JSON 数组，解析后常膨胀到 1GB+，极易触发 FATAL ERROR: Ineffective mark-compacts near heap limit 或直接 OOM。
- 错误现象：VSCode 终端报
FATAL ERROR或静默退出，node进程消失 - 真实瓶颈不在磁盘或 CPU，而在堆内存分配失败
- 即使加
--max-old-space-size=4096，也无法解决深层嵌套导致的栈溢出或 GC 压力
用 stream-json 做流式清洗，不加载全量
替代 JSON.parse()，用 stream-json 按需提取字段，边读边过滤，内存占用恒定在几 MB 内。
- 安装：
npm install stream-json - 典型场景：从 500MB 的
events.json中只取.user.id和.timestamp，写入 CSV - 核心代码片段：
const { chain, parser, streamArray, pick } = require('stream-json');
const { streamObject } = require('stream-json/streamers/StreamObject');
const fs = require('fs');
const { createWriteStream } = require('fs');
const input = fs.createReadStream('events.json');
const output = createWriteStream('clean.csv');
input
.pipe(parser())
.pipe(streamArray()) // 把 JSON 数组每个元素转成独立对象流
.pipe(pick({ filter: 'user.id' })) // 只保留匹配路径的字段
.on('data', ({ value }) => {
const row = `${value.user.id},${new Date(value.timestamp).toISOString()}\n`;
output.write(row);
});
- 注意：
stream-json不支持顶层非数组 JSON（如单个对象），需先确认数据结构；若为单对象，改用streamObject() - 别用
fs.readFileSync+JSON.parse包裹整个流——这就又回到内存炸弹模式
用 worker_threads 分片处理多个 JSON 文件
单个大文件靠流式，多个中等文件（如每天一个 50MB 的日志 JSON）才适合真正“并发”：主线程分发路径，Worker 线程各自解析清洗，避免事件循环阻塞。
- 必须显式传参：
workerData只能传可序列化数据（路径、筛选条件），不能传文件句柄或函数 - Worker 文件（
cleaner.js）里要重新require('stream-json')，不能复用主线程模块 - 示例分发逻辑：
const { Worker, isMainThread, workerData } = require('worker_threads');
const { promisify } = require('util');
const fs = require('fs');
if (isMainThread) {
const files = ['day1.json', 'day2.json', 'day3.json'];
const workers = files.map(f => new Worker('./cleaner.js', { workerData: { path: f } }));
// 等待全部完成
} else {
// 在 cleaner.js 里：用 stream-json 清洗 workerData.path
}
- VSCode 调试 Worker 需额外配置：
launch.json中加"runtimeArgs": ["--inspect-brk"]，并在 Worker 内部加debugger断点 - 别盲目开 10 个 Worker——Node.js 默认线程池大小为 4，过多 Worker 反而争抢资源
VSCode 终端里跑不起来？检查这三处
你在 VSCode 内置终端（Ctrl+`）执行 node clean.js 却卡死或报错，大概率不是代码问题，而是环境或权限细节被忽略：
-
package.json缺"type": "module"，但用了import—— 改用require()，或加--experimental-modules - 路径含中文或空格，
fs.createReadStream('数据/2024-06.json')失败 → 改用path.resolve(__dirname, '数据', '2024-06.json') - 终端编码为
GBK（Windows 默认），读取 UTF-8 JSON 时出现乱码 → 在 VSCode 设置里搜terminal.integrated.env.windows，加"PYTHONIOENCODING": "utf-8"，或启动时加chcp 65001
真正的大并发清洗从来不是靠堆工具，而是靠提前拆解问题：文件是否可分片？字段是否可流式提取？逻辑是否可无状态并行？VSCode 只是你的编辑器和终端入口，别让它背锅。
