meta name="robots"标签仅控制爬虫抓取后的处理行为，不阻止抓取本身；必须配合robots.txt或x-robots-tag才能限制访问。
不能。 meta name="robots" 标签完全不控制“抓取”，只控制“抓到之后怎么处理”。想阻止爬虫访问页面，必须用 robots.txt；想让它抓了但不收录、不展示，才轮到这个标签起作用。
为什么根本拦不住爬虫请求
爬虫行为分两步：先查 robots.txt 决定“进不进门”，再解析 HTML 处理 meta name="robots" 决定“进门后干啥”。如果 robots.txt 里写了 Disallow: /admin/，爬虫压根不会发请求去拿 /admin/login.html，你页面里写再多 noindex 都没机会被读到。
常见翻车点：
- 测试页加了
noindex，却忘了在robots.txt中屏蔽/test/目录 → 爬虫照常抓取，甚至可能因内容空或重复被降权 - 后台登录页返回 200，但只靠
meta标签 → 爬虫不仅抓，还可能把表单、错误提示当公开内容记录 - 页面返回 404 或 503 状态码时，
noindex指令大概率被忽略 —— 搜索引擎可能仍尝试索引该 URL（哪怕没内容）
noindex 和 nofollow 必须按需组合，不是默认绑定
noindex 只管当前页是否进搜索结果；nofollow 只管当前页上所有链接是否被跟踪。它们独立生效，但误配后果明显：
-
noindex单独用：适合临时活动页、A/B 测试页——页面不收录，但页内链接仍可帮爬虫发现新页面 -
noindex, nofollow：适合登录页、用户中心、测试环境页——既不想被搜到，也不希望爬虫顺着页脚“关于我们”乱爬 -
index, nofollow：慎用。页面照常收录，但链接不传权重，容易被视作操纵信号 - 分页页如
/blog?page=2应设noindex, follow，否则首页权重传不出去，后续页难被发现
写错一个字符，指令就等于没写
meta name="robots" 对格式极其敏感，拼写、大小写、分隔符全错不得：
- 合法：
content="noindex,nofollow"（小写、英文逗号、无空格） - 失效：
content="noindex, nofollow"（逗号后有空格）、content="NOINDEX,NOFOLLOW"（部分旧爬虫不认大写）、content="no-index,nofollow"（连字符错误） - 位置错误：放在
里，或靠document.write/useEffect动态注入 → 爬虫只看到初始 HTML，根本读不到 - 验证方式：右键 →「查看网页源代码」→ 搜
<meta name="robots">，必须出现在原始 HTML 的 <code>内，且早于其他冲突 meta
SPA 页面和非 HTML 资源必须换方案
纯前端路由（React/Vue SPA）返回的首屏 HTML 通常是空壳，meta 标签靠 JS 渲染后才插入——Googlebot 等主流爬虫不执行 JS，也不会等渲染完成，直接忽略。
此时唯一可靠方式是服务端响应头：
- 对特定路径（如
/admin/*），Nginx/Apache 返回X-Robots-Tag: noindex -
X-Robots-Tag优先级高于meta标签，且适用于 PDF、图片、JSON 等非 HTML 资源 - 注意缓存陷阱：CDN 若缓存了带
X-Robots-Tag: noindex的响应，撤掉指令后页面可能长期无法被索引
真正起作用的从来不是标签本身，而是它是否在首次 HTTP 响应中真实存在、拼写准确、位置正确，并且没被更高优先级机制覆盖。
前端入门到VUE实战笔记：立即使用
在学习笔记中，你将探索 前端 的入门与实战技巧！
