必须静态写在HTML源码内，不可动态注入；noindex与nofollow独立生效，需按需组合；X-Robots-Tag响应头优先级更高且适用于非HTML资源；robots.txt仅限制抓取，不阻止索引。

meta name="robots" 必须写在

里，且不能动态插入

爬虫不执行 JavaScript，也不会等页面渲染完再读取 标签。如果你用 Vue 的 mounted、React 的 useEffect 或 document.write 动态注入 ，绝大多数搜索引擎（Google、Bing、百度）根本看不到它。

验证是否生效：右键网页 →「查看网页源代码」→ 搜索 ，必须出现在原始 HTML 中，且位于 内部最上方附近。

• 静态站点：手写进 HTML 模板的 即可
• SSR 框架（如 Next.js、Nuxt）：确保该标签由服务端首次渲染输出，而非 hydration 后补
• CSR 应用（纯前端路由）：无法靠此标签控制单页内不同路由，需改用 X-Robots-Tag 或服务端路由级控制

noindex 和 nofollow 不是绑定关系，组合要按需选

noindex 只影响当前页面是否被收录；nofollow 只影响当前页面上所有 链接是否被跟踪爬取。两者独立，但常被误配。

典型错误场景：

• 搜索结果页加了 noindex 却没加 nofollow → 爬虫虽不存这页，却顺着页内链接发现并抓取大量子页面
• 登录页加了 noindex, nofollow，但页脚有「关于我们」「帮助中心」链接 → 这些重要页面反而失去入口权重
• 仅设 nofollow 而不设 noindex → 页面仍会被索引，只是不传递链接权重

常用组合含义：

• noindex, nofollow：彻底隐身（不收录、不追踪）
• noindex, follow：页面不收录，但页内链接可被爬取（适合临时活动页、A/B 测试页）
• index, nofollow：页面照常收录，但页内链接不传递权重（慎用，易被视作操纵）

X-Robots-Tag 比 meta robots 更可靠，尤其对非 HTML 资源

X-Robots-Tag 是 HTTP 响应头，优先级高于 。当两者冲突时，爬虫以响应头为准。

它能用于任何资源类型：

HTML Text Extract

从HTML页面（URL、文件或标准输入）中提取主体内容文本，去除导航、页脚、广告和模板文本。可直接传递给readability_check或其他文本工具。

下载

• PDF、图片、视频等非 HTML 文件（ 根本无效）
• API 返回的 HTML 片段（比如 SSR 渲染失败 fallback 页面）
• 需要根据用户身份或请求参数动态控制索引行为的场景（如会员专享页）

示例响应头：

X-Robots-Tag: noindex, noarchive
X-Robots-Tag: noindex
X-Robots-Tag: none

注意：none 等价于 noindex, nofollow，但语义更简洁；若需多值，必须每行一个 X-Robots-Tag 字段（HTTP/1.1 规范要求）。

robots.txt 和 meta robots 不是同一层机制，别混用替代

robots.txt 是“请勿访问”的礼貌请求，meta robots 或 X-Robots-Tag 才是“请勿收录”的明确指令。前者拦不住已知 URL 的抓取，后者才能真正阻止索引。

常见误解：

• 以为在 robots.txt 里写了 Disallow: /private/ 就安全了 → 实际上只要其他网站链向 /private/xxx.html，Google 仍可能索引它（哪怕没抓到内容）
• 只靠 robots.txt 屏蔽敏感路径，却不加 noindex → 爬虫可能通过日志、引用或推测发现该路径，然后尝试抓取
• 把 noindex 当防火墙用 → 它不防爬虫访问，只防索引；敏感数据仍需服务端鉴权或网络层防护

真正需要隐藏的内容，必须同时满足：服务端拒绝未授权访问 + 响应头含 X-Robots-Tag: noindex（或 HTML 中对应 ）。

前端入门到VUE实战笔记：立即使用
在学习笔记中，你将探索 前端 的入门与实战技巧！