Maison >interface Web >Voir.js >Analyse approfondie « Analyse des dépendances » de Vite Learning
Cet article vous donnera une explication détaillée des détails de mise en œuvre de l'analyse des dépendances dans Vite. Le résultat final de l'analyse est un objet contenant les noms de plusieurs modules. Il n'implique pas le processus de pré-construction ni la manière dont le pré-construit. les produits sont utilisés.
Lorsque nous exécuterons Vite pour la première fois, Vite effectuera une pré-construction des dépendances afin d'être compatible avec CommonJS et UMD, et améliorer les performances. [Recommandations associées : Tutoriel vidéo vuejs]
Pour pré-construire des dépendances, vous devez d'abord comprendre ces deux questions :
Qu'est-ce que le contenu pré-construit ? / Quels modules doivent être pré-construits ?
Comment trouver les modules qui doivent être pré-construits ?
Ces deux problèmes sont en fait dépendants du contenu et de la méthode de mise en œuvre de la numérisation.
Cet article expliquera en profondeur les détails de mise en œuvre de l'analyse des dépendances. Le résultat final de l'analyse est un objet contenant les noms de plusieurs modules, et n'implique pas le processus de pré-construction ni la manière dont les produits pré-construits sont utilisés. Si cette partie du contenu vous intéresse, vous pouvez me suivre et attendre les articles suivants.
Dans un projet, il existe de nombreux modules, et tous les modules ne seront pas pré-construits. Seule l'importation nue (dépendance nue) effectuera la pré-construction des dépendances
Qu'est-ce que l'importation nue ?
Regardez directement l'exemple ci-dessous
// vue 是 bare import import xxx from "vue" import xxx from "vue/xxx" // 以下不是裸依赖 import xxx from "./foo.ts" import xxx from "/foo.ts"
Il peut être divisé simplement :
En fait, Vite également juge de cette façon.
Ce qui suit est l'arborescence des dépendances du module d'un projet Vue commun
Les résultats de l'analyse des dépendances sont les suivants :
[ "vue", "axios" ]
Pourquoi seule l'importation nue est pré-construite ?
Node.js définit le mécanisme d'adressage de l'importation nue - Recherchez sous node_modules dans le répertoire courant S'il n'est pas trouvé, accédez à node_modules dans le répertoire supérieur jusqu'à ce que le répertoire soit le chemin racine, et pas plus loin.
bare import est généralement un module installé par npm Il s'agit d'un module tiers, pas du code que nous avons écrit nous-mêmes, il ne sera pas modifié, il est donc avantageux de construire cette partie du. module à l’avance. Améliorer les performances.
Au contraire, si le code écrit par le développeur est pré-construit et que le projet est empaqueté dans des fichiers chunk,lorsque le développeur modifie le code, il doit réexécuter le build puis le conditionner dans des fichiers chunk . Ce processus affectera les performances.
Les modules sous monorepo seront-ils également pré-construits ?Non. Car dans le cas du monorepo, bien que certains modules soient simplement importés, ces modules sont également écrits par les développeurs eux-mêmes et ne sont pas des modules tiers, donc Vite n'effectue pas de pré-construction sur ces modules. En fait, Vite va
déterminer si le chemin réel du module est dans node_modules :
. idées d'implémentation
Jetons un coup d'œil à l'arborescence de dépendances de ce module : Pour analyser toutes les importations nues, vous devez parcourir l'intégralité de l'arborescence de dépendances, ce qui impliqueparcours en profondeur de l'arborescence
Quand Lorsque nous discutons de la traversée d'arbres, nous faisons généralement attention à ces deux points :Lorsque tous les nœuds feuilles sont parcourus, l'objet d'importation nu enregistré est le résultat de l'analyse des dépendances.
L'idée de mise en œuvre consistant à s'appuyer sur la numérisation est en fait très facile à comprendre, mais le traitement réel n'est pas simple. Jetons un coup d'œil au traitement des nœuds feuilles :peut être jugée par l'identifiant du module. Un module dont l'identifiant de module n'est pas un chemin est une importation nue. Lorsque vous rencontrez ces modules, enregistrez les dépendances et ne parcourez plus en profondeur.
par le nom du suffixe du module. Par exemple, lorsque vous rencontrez un module de *.css
, aucun traitement n'est effectué. requis et aucune traversée approfondie n'est requise. *.css
的模块,无需任何处理,不再深入遍历。
要获取 JS 代码中依赖的子模块,就需要将代码转成 AST,获取其中 import 语句引入的模块,或者正则匹配出所有 import 的模块,然后继续深入遍历这些模块
这类模块比较复杂,例如 HTML 或 Vue,里面有一部分是 JS,需要把这部分 JS 代码提取出来,然后按 JS 模块进行分析处理,继续深入遍历这些模块。这里只需要关心 JS 部分,其他部分不会引入模块。
具体实现
我们已经知道了依赖扫描的实现思路,思路其实不复杂,复杂的是处理过程,尤其是 HTML、Vue 等模块的处理。
Vite 这里用了一种比较巧妙的办法 —— 用 esbuild 工具打包
为什么可以用 esbuild 打包代替深度遍历的过程?
本质上打包过程也是个深度遍历模块的过程,其替代的方式如下:
深度遍历 | esbuild 打包 |
---|---|
叶子节点的处理 | esbuild 可以对每个模块(叶子节点)进行解析和加载 可以通过插件对这两个过程进行扩展,加入一些特殊的逻辑 例如将 html 在加载过程中转换为 js |
不深入处理模块 | esbuild 可以在解析过程,指定当前解析的模块为 external 则 esbuild 不再深入解析和加载该模块。 |
深入遍历模块 | 正常解析模块(什么都不做,esbuild 默认行为),返回模块的文件真实路径 |
这块暂时看不懂没有关系,后面会有例子
各类模块的处理
例子 | 处理 | |
---|---|---|
bare import | vue |
在解析过程中,将裸依赖保存到 deps 对象中,设置为 external |
其他 JS 无关的模块 | less文件 |
在解析过程中,设置为 external |
JS 模块 | ./mian.ts |
正常解析和加载即可,esbuild 本身能处理 JS |
html 类型模块 |
index.html 、app.vue
|
Module JS | Pour obtenir les sous-modules dépendants dans le code JS, vous devez
🎜Pourquoi l'empaquetage esbuild peut-il être utilisé pour remplacer le processus de traversée profonde ? 🎜🎜Essentiellement🎜le processus d'empaquetage est également un processus de traversée en profondeur des modules🎜 La méthode alternative est la suivante :🎜
traversée en profondeur<.> | empaquetage esbuild | 🎜||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
Exemple | Traitement | 🎜|||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
例子 | 处理 | |
---|---|---|
bare import | vue |
在解析过程中,将裸依赖保存到 deps 对象中,设置为 external |
其他 JS 无关的模块 | less文件 |
在解析过程中,设置为 external |
JS 模块 | ./mian.ts |
正常解析和加载即可,esbuild 本身能处理 JS |
html 类型模块 |
index.html 、app.vue
|
在加载过程中,将这些模块加载成 JS |
esbuild 本身就能处理 JS 语法,因此 JS 是不需要任何处理的,esbuild 能够分析出 JS 文件中的依赖,并进一步深入处理这些依赖。
// external urls build.onResolve({ filter: /^(https?:)?\/\// }, ({ path }) => ({ path, external: true })) // external css 等文件 build.onResolve( { filter: /\.(css|less|sass|scss|styl|stylus|pcss|postcss|json|wasm)$/ }, ({ path }) => ({ path, external: true } ) // 省略其他 JS 无关的模块
这部分处理非常简单,直接匹配,然后 external 就行了
build.onResolve( { // 第一个字符串为字母或 @,且第二个字符串不是 : 冒号。如 vite、@vite/plugin-vue // 目的是:避免匹配 window 路径,如 D:/xxx filter: /^[\w@][^:]/ }, async ({ path: id, importer, pluginData }) => { // depImports 为 if (depImports[id]) { return externalUnlessEntry({ path: id }) } // 将模块路径转换成真实路径,实际上调用 container.resolveId const resolved = await resolve(id, importer, { custom: { depScan: { loader: pluginData?.htmlType?.loader } } }) // 如果解析到路径,证明找得到依赖 // 如果解析不到路径,则证明找不到依赖,要记录下来后面报错 if (resolved) { if (shouldExternalizeDep(resolved, id)) { return externalUnlessEntry({ path: id }) } // 如果模块在 node_modules 中,则记录 bare import if (resolved.includes('node_modules')) { // 记录 bare import depImports[id] = resolved return { path, external: true } } // isScannable 判断该文件是否可以扫描,可扫描的文件有 JS、html、vue 等 // 因为有可能裸依赖的入口是 css 等非 JS 模块的文件 else if (isScannable(resolved)) { // 真实路径不在 node_modules 中,则证明是 monorepo,实际上代码还是在用户的目录中 // 是用户自己写的代码,不应该 external return { path: path.resolve(resolved) } } else { // 其他模块不可扫描,直接忽略,external return { path, external: true } } } else { // 解析不到依赖,则记录缺少的依赖 missing[id] = normalizePath(importer) } } )
如: index.html
、app.vue
const htmlTypesRE = /\.(html|vue|svelte|astro)$/ // html types: 提取 script 标签 build.onResolve({ filter: htmlTypesRE }, async ({ path, importer }) => { // 将模块路径,转成文件的真实路径 const resolved = await resolve(path, importer) if (!resolved) return // 不处理 node_modules 内的 if (resolved.includes('node_modules'){ return } return { path: resolved, // 标记 namespace 为 html namespace: 'html' } })
解析过程很简单,只是用于过滤掉一些不需要的模块,并且标记 namespace 为 html
真正的处理在加载阶段:
// 正则,匹配例子: <script></script> const scriptModuleRE = /(<script>]*type\s*=\s*(?:"module"|'module')[^>]*>)(.*?)<\/script>/gims // 正则,匹配例子: <script></script> export const scriptRE = /(<script>]*>|>))(.*?)<\/script>/gims build.onLoad( { filter: htmlTypesRE, namespace: 'html' }, async ({ path }) => { // 读取源码 let raw = fs.readFileSync(path, 'utf-8') // 去掉注释,避免后面匹配到注释 raw = raw.replace(commentRE, '<!---->') const isHtml = path.endsWith('.html') // scriptModuleRE: <script type=module></script> // scriptRE: <script></script> // html 模块,需要匹配 module 类型的 script,因为只有 module 类型的 script 才能使用 import const regex = isHtml ? scriptModuleRE : scriptRE // 重置正则表达式的索引位置,因为同一个正则表达式对象,每次匹配后,lastIndex 都会改变 // regex 会被重复使用,每次都需要重置为 0,代表从第 0 个字符开始正则匹配 regex.lastIndex = 0 // load 钩子返回值,表示加载后的 js 代码 let js = '' let scriptId = 0 let match: RegExpExecArray | null // 匹配源码的 script 标签,用 while 循环,因为 html 可能有多个 script 标签 while ((match = regex.exec(raw))) { // openTag: 它的值的例子: <script> // content: script 标签的内容 const [, openTag, content] = match // 正则匹配出 openTag 中的 type 和 lang 属性 const typeMatch = openTag.match(typeRE) const type = typeMatch && (typeMatch[1] || typeMatch[2] || typeMatch[3]) const langMatch = openTag.match(langRE) const lang = langMatch && (langMatch[1] || langMatch[2] || langMatch[3]) // 跳过 type="application/ld+json" 和其他非 non-JS 类型 if ( type && !( type.includes('javascript') || type.includes('ecmascript') || type === 'module' ) ) { continue } // esbuild load 钩子可以设置 应的 loader let loader: Loader = 'js' if (lang === 'ts' || lang === 'tsx' || lang === 'jsx') { loader = lang } else if (path.endsWith('.astro')) { loader = 'ts' } // 正则匹配出 script src 属性 const srcMatch = openTag.match(srcRE) // 有 src 属性,证明是外部 script if (srcMatch) { const src = srcMatch[1] || srcMatch[2] || srcMatch[3] // 外部 script,改为用 import 用引入外部 script js += `import ${JSON.stringify(src)}\n` } else if (content.trim()) { // 内联的 script,它的内容要做成虚拟模块 // 缓存虚拟模块的内容 // 一个 html 可能有多个 script,用 scriptId 区分 const key = `${path}?id=${scriptId++}` scripts[key] = { loader, content, pluginData: { htmlType: { loader } } } // 虚拟模块的路径,如 virtual-module:D:/project/index.html?id=0 const virtualModulePath = virtualModulePrefix + key js += `export * from ${virtualModulePath}\n` } } return { loader: 'js', contents: js } } )</script>
加载阶段的主要做有以下流程:
srcMatch[1] || srcMatch[2] || srcMatch[3] 是干嘛?
我们来看看匹配的表达式:
const srcRE = /\bsrc\s*=\s*(?:"([^"]+)"|'([^']+)'|([^\s'">]+))/im
因为 src 可以有以下三种写法:
三种情况会出现其中一种,因此是三个捕获组
虚拟模块是如何加载成对应的 script 代码的?
export const virtualModuleRE = /^virtual-module:.*/ // 匹配所有的虚拟模块,namespace 标记为 script build.onResolve({ filter: virtualModuleRE }, ({ path }) => { return { // 去掉 prefix // virtual-module:D:/project/index.html?id=0 => D:/project/index.html?id=0 path: path.replace(virtualModulePrefix, ''), namespace: 'script' } }) // 之前的内联 script 内容,保存到 script 对象,加载虚拟模块的时候取出来 build.onLoad({ filter: /.*/, namespace: 'script' }, ({ path }) => { return scripts[path] })
虚拟模块的加载很简单,直接从 script 对象中,读取之前缓存起来的内容即可。
这样之后,我们就可以把 html 类型的模块,转换成 JS 了
扫描结果
下面是一个 depImport 对象的例子:
{ "vue": "D:/app/vite/node_modules/.pnpm/vue@3.2.37/node_modules/vue/dist/vue.runtime.esm-bundler.js", "vue/dist/vue.d.ts": "D:/app/vite/node_modules/.pnpm/vue@3.2.37/node_modules/vue/dist/vue.d.ts", "lodash-es": "D:/app/vite/node_modules/.pnpm/lodash-es@4.17.21/node_modules/lodash-es/lodash.js" }
依赖扫描是预构建前的一个非常重要的步骤,这决定了 Vite 需要对哪些依赖进行预构建。
本文介绍了 Vite 会对哪些内容进行依赖预构建,然后分析了实现依赖扫描的基本思路 —— 深度遍历依赖树,并对各种类型的模块进行处理。然后介绍了 Vite 如何巧妙的使用 esbuild 实现这一过程。最后对这部分的源码进行了解析:
最后获取到的 depImport 是一个记录依赖以及其真实路径的对象
Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!