非标爬虫极度依赖语义标签作为唯一可信锚点，因其不执行js、不跑模型，仅靠硬规则匹配定位关键字段；缺失或错嵌语义标签将导致正文跳过、字段误判或整页解析失败。
<main></main>缺失或错嵌，非标爬虫大概率直接跳过正文；语义标签不是“锦上添花”，而是非标采集器解析结构的唯一可信锚点。
非标爬虫为什么更依赖<main></main>和<article></article>
主流搜索引擎爬虫有容错机制和NLP回退能力，但大量行业级非标爬虫（如政务数据采集器、电商比价机器人、学术论文聚合器）只做轻量DOM遍历，不执行JS，也不跑模型。它们靠硬规则匹配语义标签定位关键字段：
-
<main></main>是默认入口——没它，就从开头暴力扫描，极易把页脚备案号、侧边栏广告当正文 -
<article></article>是独立内容识别开关——论文爬虫靠它区分摘要/正文/参考文献；商品比价器靠它提取单条SKU信息 - 没有
<time datetime="..."></time>，非标爬虫无法提取发布时间，只能丢弃整条记录（因无法验证时效性）
<section></section>和<div>在非标采集中的实际差异
<p>非标爬虫极少解析CSS或class名，<code><div class="content">对它们等于透明。而<code><section></section>哪怕没标题，也会被当作一个待分析区块；但若连续出现5个无<h2></h2>的<section></section>，多数采集器会直接跳过该区域——因为缺乏语义锚点，无法判断是否值得解析。
- 正确用法：
<section><h2>用户评价</h2>
<p>…</p><div class="aritcle_card flexRow artxards">
<div class="artcardd flexRow">
<a class="aritcle_card_img" rel="nofollow" href="/xiazai/skill5806" title="html-deploy"><img
src="https://img.php.cn/upload/skill/000/000/081/179066538882434.jpg" alt="html-deploy" onerror="this.onerror='';this.src='/static/lhimages/moren/morentu.png'" ></a>
<div class="aritcle_card_info flexColumn">
<a rel="nofollow" href="/xiazai/skill5806" title="html-deploy" class="overflowclass">html-deploy</a>
<p class="overflowclass">使用 htmlcode.fun 将 HTML 内容或文件部署到网页，适用于用户要求“部署到网页”“托管此 HTML”“生成此前端...的实时链接”等场景。</p>
</div>
<a rel="nofollow" href="/xiazai/skill5806" title="html-deploy" class="aritcle_card_btn flexRow flexcenter"><b></b><span>下载</span>
</a>
</div>
</div></section> → 被标记为“评论模块”，抽取文本+星级
- 错误用法：
<section><div>¥299</div>
<div>包邮</div></section> → 无标题、无结构信号，整块被忽略
- 更糟情况：用
<section></section>包裹广告位或登录弹窗 → 非标爬虫误判为“核心内容干扰”，整页打低分
SPA页面中<main></main>残留导致非标抓取失败的典型场景
<section><h2>用户评价</h2>
<p>…</p><div class="aritcle_card flexRow artxards">
<div class="artcardd flexRow">
<a class="aritcle_card_img" rel="nofollow" href="/xiazai/skill5806" title="html-deploy"><img
src="https://img.php.cn/upload/skill/000/000/081/179066538882434.jpg" alt="html-deploy" onerror="this.onerror='';this.src='/static/lhimages/moren/morentu.png'" ></a>
<div class="aritcle_card_info flexColumn">
<a rel="nofollow" href="/xiazai/skill5806" title="html-deploy" class="overflowclass">html-deploy</a>
<p class="overflowclass">使用 htmlcode.fun 将 HTML 内容或文件部署到网页，适用于用户要求“部署到网页”“托管此 HTML”“生成此前端...的实时链接”等场景。</p>
</div>
<a rel="nofollow" href="/xiazai/skill5806" title="html-deploy" class="aritcle_card_btn flexRow flexcenter"><b></b><span>下载</span>
</a>
</div>
</div></section> → 被标记为“评论模块”，抽取文本+星级<section><div>¥299</div>
<div>包邮</div></section> → 无标题、无结构信号，整块被忽略<section></section>包裹广告位或登录弹窗 → 非标爬虫误判为“核心内容干扰”，整页打低分<main></main>残留导致非标抓取失败的典型场景Vue/React路由切换后未手动移除旧<main></main>，DOM里同时存在两个<main></main>节点——这在Google索引中可能仅降权，但在非标爬虫眼里是“结构非法”，直接终止解析。
- 现象：
document.querySelectorAll('main').length > 1→ 多数非标采集器返回空结果或HTTP 400 - 修复动作：路由离开时执行
document.querySelector('main')?.remove()，或统一用id="main-content"替代标签 - 兼容底线：若必须用
<main></main>，确保服务端渲染（SSR）输出时仅有一个，且客户端hydrate不新增
真正卡住非标爬虫的，从来不是标签数量，而是<main></main>是否真实包裹可索引文本、<article></article>是否对应原子内容单元、<time datetime></time>是否格式合法——空标签、JS渲染占位符、错误嵌套，都会让采集器判定“该页无有效数据”。
