meta robots 标签完全不控制抓取频率，仅决定爬虫抓取后的处理行为（如索引、跟踪链接）；真正影响抓取节奏的是 cache-control 响应头、sitemap.xml 中精确同步的 及 robots.txt 中的 sitemap 声明。
meta robots 根本不控制抓取频率
它只决定爬虫“进门后干啥”，比如要不要索引、跟不跟链接，但完全不参与“多久来一次”的调度。Google、Bing 都明确说：content="index,follow" 是默认值，写不写没区别；noindex 会让该 URL 彻底退出抓取队列，哪怕内容更新了也不会再被访问。
常见错误包括：在每页都加 meta name="robots" content="index,follow"，以为能“催促”爬虫；或误把 http-equiv="refresh" 当成刷新指令，结果被识别为 soft 404，直接降权。
真正影响抓取效率的三个硬指标
爬虫回访节奏由服务端信号驱动，不是靠 HTML 里喊话：
-
Cache-Control: max-age=300响应头——对博客列表页这类高频更新页面，设 5 分钟缓存，等于告诉爬虫“这页内容易变” -
sitemap.xml中的<lastmod></lastmod>必须精确到秒（如2026-06-17T15:40:22+00:00），且与 HTTPLast-Modified响应头严格一致 -
robots.txt里必须显式声明Sitemap: https://example.com/sitemap.xml，否则爬虫大概率忽略你的 sitemap
meta charset 和 viewport 错不得位置和格式
这两个标签虽不提速，但错一个字符就可能让爬虫放弃解析：
-
meta charset="utf-8"必须是里的第一个标签，前面不能有注释、空行或 BOM 字节，否则中文乱码，正文提取失败 -
meta name="viewport" content="width=device-width, initial-scale=1"的content值里不能含空格（比如initial-scale = 1就会失效），移动端适配失败 → Google 降低移动抓取优先级 -
meta name="googlebot" content="notranslate"能避免自动翻译干扰语义理解，尤其多语言混排页面
X-Robots-Tag 响应头比 meta 更可靠
对单页应用（SPA）或非 HTML 资源（PDF、图片），meta 标签基本无效：
-
X-Robots-Tag: noindex, nofollow可通过 Nginx/Apache 直接按路径配置，优先级高于meta - JS 动态注入的
meta name="robots"（如 React 的useEffect）几乎 100% 不生效——爬虫只读原始 HTML 源码 - 验证是否生效，右键 →「查看网页源代码」→ 搜索
meta name="robots"，确认它真实存在于服务端返回的 HTML 中
lastmod 时间戳和响应头的一致性，以及 meta charset 是否真在 前端入门到VUE实战笔记：立即使用
在学习笔记中，你将探索 前端 的入门与实战技巧！
