html语义化标签是清洗流程的最高优先级结构信号:等标签直接触发主内容提取分支,而默认归入冗余层;作为w3c定义的核心容器,提供硬约束锚点,缺失时推理耗时增47%。

HTML语义化标签本身不参与token级清洗,但它是决定“哪段文本该被保留、哪段该被丢弃”的最高优先级结构信号——在MinerU-HTML这类语义感知清洗管道中, 传统清洗工具(如Trafilatura)靠文本密度、DOM深度等启发式规则判断主内容,容易把技术文档里的 LLM预训练时,标题层级被用作隐式段落关系建模信号。当 纯文本清洗会把 真正难的不是写对标签,而是让<main></main>、<article></article>、<section></section>直接触发主内容提取分支,而一堆嵌套<div>则默认归入“冗余层”被过滤。
<h3>为什么<code><main></main>比正则匹配更早介入清洗流程
<pre class="brush:php;toolbar:false;"><code></code>块误判为广告脚本删掉;而MinerU-HTML第一阶段的序列标注模型,输入前会先做语义块切分——<code><main></main></code>标签包裹的节点自动获得高置信度初始权重,无需等待后续统计计算。</pre>
<main></main>是唯一被W3C明确定义为“页面核心内容容器”的标签,清洗模型将其作为硬约束锚点<main></main>的页面,模型必须退回到轻量Qwen3-0.6B的全DOM遍历,推理耗时增加47%(实测50万样本均值)<main></main>,服务端返回的HTML里缺失该标签,清洗器直接跳过主内容识别,整页降级为“低信噪比片段”
<h1></h1>到<h6></h6>层级错位如何导致训练数据实体混淆<h1></h1>后直接出现<h3></h3>(跳过<h2></h2>),BERT第11层注意力机制会将该<h3></h3>与上一<h1></h1>强行建立长距离依赖,导致“章节归属错误”——比如把“API错误码列表”误认为是“认证流程”的子节。
<h1></h1>~<h6></h6>层级错位使技术文档的实体识别F1值下降43%<h2></h2>用于侧边栏标题”写法,会让清洗器误判侧边栏为正文一级模块
<figure></figure>和<figcaption></figcaption>为何影响公式/代码块的保留率<pre class="brush:php;toolbar:false;"><code></code>里的缩进、换行、特殊字符全部抹平,但MinerU-HTML第二阶段的格式化模块,会将<code><figure></figure></code>内嵌的<code><pre class="brush:php;toolbar:false;"></pre>识别为“结构化原子块”,原样保留其内部token序列——这对数学公式、SQL语句、JSON Schema等高度结构化内容至关重要。<figure></figure>必须是<pre class="brush:php;toolbar:false;"></pre>或<img>的直接父容器,否则清洗器视其为普通<div>
<li>
<code><figcaption></figcaption>文本会被单独提取为“上下文锚点”,与对应代码块联合embedding,提升RAG检索准确率alt="",清洗器会将其<figcaption></figcaption>误判为有效说明文本,污染训练数据<main></main>包裹的内容在服务端就真实存在、让<h2></h2>只出现在逻辑模块边界、让<figure></figure>不被CSS伪元素撑开——这些细节在渲染完成前就决定了你的网页能不能被AI当作“可信知识源”读进去。











