tokenization卡在字节流接收阻塞处：服务端响应慢或网络抖动导致解析器等待下一字节，document.readystate停在"loading"，dom树尚未构建。
Tokenization卡在哪儿？看字符流解码瓶颈
HTML解析器的Tokenization不是“读完再切”，而是边接收HTTP字节流边解码、边产出Token。当服务端响应慢或网络抖动，解析器会阻塞等待下一个字节——此时document.readyState卡在"loading"，但DOM树连第一个节点都没建出来。这不是JS执行慢，是底层Tokenizer没收到足够字节触发有效Token产出。
实操建议：
文章转信息图。将文章/笔记转化为手机可读的 HTML 信息图，自动匹配视觉风格。触发场景：文章转图、笔记转图、信息图、转小红书图、做张图、可视化这篇文章、文生图。
- 用Chrome DevTools的Network → Response → View Source确认首屏HTML是否被CDN或代理截断（比如只返回前2KB就断连）
- 监控
performance.getEntriesByType("navigation")[0].responseEnd - performance.getEntriesByType("navigation")[0].fetchStart，若该值 > 500ms且domInteractive延迟同步放大，大概率是Tokenization等字节流 - 避免在顶部插入同步XHR或
document.write，它们会中断当前字符流解析，强制重排Token队列
大量自闭合标签会让Tokenizer变慢吗？
不会。浏览器Tokenizer对<meta>、<link>、<img>这类自闭合标签有专用快速路径，解析开销几乎恒定。真正拖慢Tokenization的是「不确定结束位置」的标签：比如<script></script>必须等到匹配的，<textarea></textarea>要扫描到下一个，而嵌套的<script type="application/json"></script>内容若含未转义字符串，Tokenizer会误判闭合点，反复回溯重试。
实操建议：
- JSON脚本块统一用
<script type="application/json">JSON.stringify(data)</script>，确保双引号和被正确转义 - 禁用HTML压缩工具的
removeOptionalTags: true选项——它可能删掉或起始标签，导致Tokenizer无法确定根上下文，降级为容错模式（更慢） - 检查
document.compatMode是否为"CSS1Compat"，怪异模式下Tokenizer会启用兼容性补丁，额外消耗CPU周期
为什么DOM深度深反而Tokenization时间变化不大？
Tokenization只负责把字节变成Token，不关心嵌套关系；Tree Construction阶段才根据Token构建树形结构。所以100层嵌套的<div>和扁平的100个<code><div>，Tokenizer耗时几乎一样——但后者在Tree Construction阶段会快得多，因为节点插入路径更短、样式计算层级更少。<p>实操建议：</p>
<ul>
<li>用<code>performance.measure("tokenize", "fetchStart", "domInteractive")粗略估算Tokenization耗时，但它包含网络+解码+Token产出全链路，不能单独剥离
performance.getEntriesByType("navigation")[0].domComplete - performance.getEntriesByType("navigation")[0].domInteractive，这个差值越长，说明节点创建和属性挂载越吃力document.documentElement.children.length和document.body.getElementsByTagName("*").length，前者暴增说明<link>/<style></style>，后者过大则Tree Construction必然承压服务端流式渲染（Streaming SSR）如何影响Tokenization可观测性？
流式SSR让HTML分块传输，浏览器能边收边Tokenize，看似提升首屏，但会破坏传统性能指标的连续性：domInteractive不再对应完整HTML接收完毕，而是首个有效Token产出时刻。此时performance.getEntriesByType("navigation")里的responseEnd可能远早于实际DOM构建完成时间。
实操建议：
- 在流式SSR模板中，确保
<meta charset="utf-8">和<title></title>在第一个chunk内发出——否则Tokenizer无法确定编码，会反复试探解码，大幅拉长首Token延迟 - 不要依赖
DOMContentLoaded事件监听流式页面的“加载完成”，改用PerformanceObserver监听largest-contentful-paint，它能真实反映用户看到关键内容的时机 - 若使用React Server Components或Vue Islands，注意服务端组件输出的HTML片段可能缺失
或外层标签，导致Tokenizer无法建立完整上下文，需在流式入口手动补全
Tokenization本身不可直接测量，所有“解析慢”的归因都必须落到字节流到达节奏、编码声明位置、标签闭合确定性这三个锚点上。任何脱离这三点谈优化，都是在调参。
