npm dedupe 通过扫描 node_modules 目录，将版本相同的依赖提升到顶层 node_modules 中，从而消除重复安装。执行该命令后，所有子模块引用的相同包都会指向同一个顶层实例，显著减少磁盘占用和安装时间。
npm dedupe 如何识别并提升重复依赖
该命令会递归遍历 node_modules 中的每个包，检查其 package.json 中声明的依赖版本。如果发现多个不同路径下的包引用了同一名称且版本兼容（或完全一致）的依赖，它会将这些依赖提取到上一层级。例如，如果 A 和 B 都依赖 C@1.0.0，且 A 在 B 之前被处理，C 会被提升到 A 的父级，B 则通过符号链接或直接引用该顶层实例。
const fs = require('fs');
const path = require('path');
// 模拟 npm dedupe 的核心逻辑：查找重复项
function findDedupableModules(rootPath) {
const modulesMap = new Map(); // key: packageName, value: [{path, version}]
function scanDir(dir) {
if (!fs.existsSync(dir)) return;
const files = fs.readdirSync(dir);
for (const file of files) {
const fullPath = path.join(dir, file);
if (file === 'node_modules') continue; // 跳过已处理的 node_modules
const pkgJsonPath = path.join(fullPath, 'package.json');
if (fs.existsSync(pkgJsonPath)) {
try {
const pkg = JSON.parse(fs.readFileSync(pkgJsonPath, 'utf8'));
if (pkg.name && pkg.version) {
if (!modulesMap.has(pkg.name)) {
modulesMap.set(pkg.name, []);
}
modulesMap.get(pkg.name).push({
name: pkg.name,
version: pkg.version,
path: fullPath
});
}
} catch (e) {
// 忽略无效 package.json
}
}
// 递归扫描子目录
if (fs.statSync(fullPath).isDirectory()) {
scanDir(fullPath);
}
}
}
scanDir(rootPath);
// 输出重复项
const duplicates = [];
for (const [name, instances] of modulesMap) {
if (instances.length > 1) {
duplicates.push({
name,
versions: [...new Set(instances.map(i => i.version))],
count: instances.length
});
}
}
console.log(JSON.stringify(duplicates, null, 2));
}
findDedupableModules('./node_modules');
运行上述脚本可以模拟识别过程。假设 node_modules 中有两个包都依赖 lodash@4.17.21，脚本会输出一个包含 lodash 及其出现次数的对象。实际 npm dedupe 还会考虑语义化版本兼容性，但核心逻辑是建立这种映射关系。
使用 npm dedupe 前后的结构变化
去重前，依赖树可能呈现扁平或深层嵌套结构，导致大量重复文件。去重后，共享依赖被提升至最近的可能位置，通常是项目根目录的 node_modules 或其直接子包的父级。这种变化不仅减少了文件数量，还优化了模块解析路径。例如，若 react-dom 被多个库引用，去重后它将只存在于顶层，其他库通过相对路径或符号链接访问它。
// 去重前的典型结构（简化） node_modules/ ├── package-A/ │ └── node_modules/ │ └── shared-lib@1.0.0/ ├── package-B/ │ └── node_modules/ │ └── shared-lib@1.0.0/ // 重复 └── shared-lib@1.0.0/ // 顶层也可能存在 // 去重后的典型结构 node_modules/ ├── package-A/ ├── package-B/ └── shared-lib@1.0.0/ // 唯一实例，被 A 和 B 引用
通过对比这两个结构可以看出，去重操作消除了 shared-lib 的冗余副本。在实际项目中，这可以节省数百兆甚至数吉字节的磁盘空间，特别是在大型 monorepo 或复杂依赖树中。开发者可以通过比较去重前后的 du -sh node_modules 输出来验证效果。
当依赖版本冲突时 npm dedupe 的行为
如果两个包依赖同一库的不同版本（如 A 需要 Lodash@4.17.20，B 需要 Lodash@4.17.21），npm dedupe 不会强行合并它们，而是保留各自所需的版本实例，除非它们满足语义化版本的兼容范围。这意味着在某些情况下，重复可能依然存在。此外，如果手动修改了 package.json 但未更新锁文件，dedupe 可能无法正确解析依赖，此时需配合 npm install 使用。
Java免费学习笔记：立即使用
解锁 Java 大师之旅：从入门到精通的终极指南
