noindex是robots标签的content值,用于指示搜索引擎不将页面收录进索引库;它通常被遵守但非强制,加了仍可能因外链等原因以纯url形式出现在搜索结果中。

noindex 是什么,它真能阻止页面被搜到?
noindex 是 <meta name="robots"> 标签的一个 content 值,作用是告诉搜索引擎“别把这页内容放进你的索引库”。但它不是法律条文——只是建议。Google 通常遵守,但 Bing、Yandex 或小众爬虫可能忽略,尤其当该页面被大量外链指向时,仍可能以纯 URL 形式出现在搜索结果里(无标题、无摘要)。
常见误判点:
- 以为加了
noindex就等于“从搜索结果彻底消失”:错。URL 本身若被引用,仍可能露头 - 在返回
404或503状态码的页面上加noindex:多数引擎会直接忽略该指令,优先按状态码处理 - 和
robots.txt混用却没理清逻辑:用robots.txt屏蔽路径 ≠ 阻止索引;必须配合noindex才真正去收录
nofollow 放在 meta 标签里 vs 放在 a 标签里,效果完全不同
nofollow 有两种完全独立的用法,不能混为一谈:
- 作为
<meta name="robots" content="nofollow">:整页所有链接都不跟踪,搜索引擎不会顺着这些链接爬向其他页面,也不传递权重 - 作为
<a href="..." rel="nofollow"></a>:只影响这个链接本身,常用于用户评论、UGC 外链、付费链接等场景,不影响页面其余部分
典型错误:
- 在登录页或用户中心页写
<meta name="robots" content="nofollow">却漏掉noindex:页面照常被收录,只是内链失效,反而造成“有排名但无法导航”的尴尬 - 给站内跳转链接加
rel="nofollow":比如<a href="/about" rel="nofollow"></a>,会切断内部权重流动,损害 SEO 结构
noindex,follow 和 noindex,nofollow 怎么选?关键看你想传不传权重
这两个组合都禁止收录当前页,区别只在“是否允许爬虫顺着本页链接继续抓取”:
文章转信息图。将文章/笔记转化为手机可读的 HTML 信息图,自动匹配视觉风格。触发场景:文章转图、笔记转图、信息图、转小红书图、做张图、可视化这篇文章、文生图。
-
noindex,follow:适合内容低质但链接有价值的页面,比如搜索结果页、标签聚合页、分页第2页以后。你不想它被搜到,但希望它帮内链页面获得抓取机会 -
noindex,nofollow:适合完全不想暴露、也不愿背书任何链接的页面,比如测试页、A/B 实验页、临时活动页
注意:noindex,follow 不等于“安全”。如果页面含大量垃圾外链,follow 可能被反向利用——爬虫顺着你的链接爬到黑帽站点,连带影响你域名信誉。
为什么 X-Robots-Tag 头比 meta 标签更可靠?
当你需要控制非 HTML 资源(PDF、图片、JSON API 返回页)或统一管理某类路径时,X-Robots-Tag HTTP 响应头优先级更高,且不受页面是否被解析的影响。
例如,Nginx 配置中对所有 /admin/ 下的响应加头:
add_header X-Robots-Tag "noindex, nofollow";
比在每个 admin 页面 HTML 中手动插入 <meta> 更稳定——不会因模板漏写、SSR 渲染失败、CDN 缓存旧 HTML 而失效。
容易被忽略的一点:如果服务器同时返回 X-Robots-Tag 和页面内 <meta name="robots">,前者生效;但若页面通过 JavaScript 动态注入 <meta>,爬虫根本看不到,等于白设。
前端入门到VUE实战笔记:立即使用
在学习笔记中,你将探索 前端 的入门与实战技巧!










