直接加不能保证页面不被索引，关键看它是否在初始html的里真实存在、拼写准确、位置正确（紧接后）、静态输出、未被x-robots-tag等高优先级规则覆盖，且robots.txt未屏蔽该路径。
直接加 <meta name="robots" content="noindex"> 不能保证页面不被索引，关键看它是否在初始 HTML 的 里真实存在、拼写准确、且没被更高优先级规则覆盖。
meta name="robots" 必须静态写死在服务端输出的 HTML head 中
爬虫不执行 JavaScript，也不会等页面渲染完成再读取 <meta> 标签。用 Vue 的 mounted、React 的 useEffect 或 document.write 动态插入，Googlebot 和 Bingbot 基本看不到。
- 静态站点：手写进 HTML 模板的
最上方（建议紧接<meta charset>后） - SSR 框架（如 Next.js、Nuxt）：确保该标签由服务端首次渲染输出，而非 hydration 后补
- 纯 CSR 应用（如 Create React App 默认模式）：无法靠此标签控制不同路由，必须改用
X-Robots-Tag响应头或服务端路由级判断 - 验证方式：右键网页 →「查看网页源代码」→ 搜索
<meta name="robots">，必须出现在原始 HTML 中，且位于 <code>内部
content 值必须小写、无空格、逗号分隔
拼写和格式错一个字符，指令就失效。主流爬虫（尤其是旧版 Bingbot）对大小写和空格敏感。
- ✅ 正确：
noindex,nofollow、noindex,follow、none - ❌ 错误：
NOINDEX, NOFOLLOW（大写+空格）、no-index,nofollow（连字符）、noindex, nofollow（逗号后空格）、noindex，nofollow（中文逗号） -
none等价于noindex,nofollow，但部分老爬虫兼容性差，推荐显式写全 - 避免叠加冷门指令如
noarchive或nosnippet—— Google 已基本不认 meta 中的这两个值，只响应 HTTP 头或搜索结果端策略
noindex,follow 和 noindex,nofollow 效果差别极大
两者都让当前页不被收录，但对页面内链接的处理完全不同，选错会意外放行大量子页面或切断权重传递路径。
-
noindex,follow：适合分页页（/blog?page=2）、筛选页、排序页——不索引本页，但允许爬虫顺着“下一页”“相关文章”等链接发现新内容 -
noindex,nofollow：适合登录页、测试环境页、用户私有页——既不想被搜到，也不希望爬虫乱点页脚的“关于我们”“帮助中心”等链接 - 错误示例：搜索结果页加了
noindex却漏写nofollow→ 爬虫虽不存这页，却顺着搜索结果里的商品链接抓取全部详情页 - 错误示例：后台登录页加了
noindex,nofollow，但页脚有“文档中心”链接 → 文档中心失去重要入口权重
它不是 robots.txt，也不能替代 X-Robots-Tag
<meta name="robots"> 只对 HTML 页面生效，且前提是页面被成功抓取；真正可靠、优先级更高、适用范围更广的是 HTTP 响应头 X-Robots-Tag。
-
robots.txt控制“能不能抓”，meta robots控制“抓了之后怎么处理”——如果robots.txt已禁止某路径，meta标签根本没机会生效 -
X-Robots-Tag: noindex优先级高于meta，且能用于 PDF、图片、JSON、API 返回的 HTML 片段等非 HTML 资源 - 单页应用（SPA）内部路由页（如
/dashboard/settings）返回的初始 HTML 是空壳，meta无效，必须由 Nginx / Apache / Serverless 函数根据 URL 路径动态注入X-Robots-Tag - CDN 或反向代理若缓存了带
X-Robots-Tag: noindex的响应，撤掉指令后页面可能长期无法被索引——缓存策略要同步清理
最容易被忽略的是：即使你把 content 写对、位置放准、也用了 noindex,nofollow，只要页面被大量外部链接指向，Google 仍可能以“URL-only”形式保留在搜索结果中数周——这时候得配合 robots.txt 屏蔽 + 服务器返回 410 Gone 才压得住。
前端入门到VUE实战笔记：立即使用
在学习笔记中，你将探索 前端 的入门与实战技巧！
