robots meta标签必须写在html的中且需在首次解析时即存在，动态注入或置于内均无效；noindex与nofollow作用独立可组合；robots.txt优先级高于meta robots；x-robots-tag更可靠但需服务端支持。
robots meta标签写在哪才生效
它必须出现在 里，且在首次 HTML 解析阶段就能被爬虫读到。放在 或动态 JS 注入的 <meta name="robots">，对绝大多数搜索引擎无效——它们不执行 JS，也不往下扫。
常见错误：用 Vue/React 在 mounted 里拼字符串塞进 ，或者用 document.write 插入，结果爬虫只看到空 。
- 静态 HTML：直接手写在
内部最稳妥 - SSR 框架（如 Next.js、Nuxt）：确保
组件在首屏 HTML 中输出，而非客户端 hydrate 后补 - 检查方式：右键「查看网页源代码」，搜
<meta name="robots">，确认存在且位置正确
noindex 和 nofollow 到底怎么组合用
noindex 是告诉爬虫“别收录这页”，nofollow 是说“别顺着这页上的链接爬”。两者常被混用，但作用完全独立，也支持组合。
典型误配：<meta name="robots" content="noindex"> 能屏蔽收录，但如果页面本身是入口（比如搜索结果页），而你又没加 nofollow，爬虫仍可能通过它发现并抓取大量子页面。
- 只想隐藏当前页？用
noindex就够了 - 当前页是临时中转、无内容价值（如登录跳转页）？建议
noindex, nofollow - 页面有敏感内容但链接值得传递权重？可单独用
nofollow，不加noindex - 注意大小写和逗号空格：
content="NOINDEX,NOFOLLOW"有效，但"noindex,nofollow"更通用；"noindex, nofollow"（逗号后带空格）某些旧爬虫会解析失败
robots.txt 和 meta robots 冲突时谁赢
robots.txt 管的是“能不能进”，meta robots 管的是“进来之后怎么处理”。如果 robots.txt 禁止访问某路径，爬虫根本不会去请求那个 HTML，自然也看不到里面的 meta 标签——此时 meta 完全失效。
反过来说：如果 robots.txt 允许抓取 /admin/，但你在 /admin/login.html 里写了 noindex，那爬虫会成功抓到该页面，然后遵守 noindex 不收录它。
- 想彻底封死某个目录？优先改
robots.txt，别依赖页面内meta - 想保留链接可访问性但禁止收录（比如 A/B 测试页）？删掉
robots.txt的限制，靠meta name="robots" content="noindex" - 注意：Google 已明确表示，
noindex在robots.txt屏蔽下不会触发“已索引但被移除”的逻辑，页面会直接被视为不可达
HTTP 头里的 X-Robots-Tag 比 meta 更可靠吗
是的，尤其对非 HTML 资源或需要服务端精细控制的场景。X-Robots-Tag 是 HTTP 响应头，比 HTML 解析早一个层级，不受 JS 干扰，还能用于 PDF、图片、API 返回等非 HTML 响应。
但它不能替代 meta：HTML 页面里仍需 meta，因为部分爬虫（尤其是旧版或垂直爬虫）只认 meta；而 X-Robots-Tag 需要服务端配置，静态托管平台（如 GitHub Pages、Vercel static）默认不支持动态头。
- Node.js（Express）：用
res.set('X-Robots-Tag', 'noindex, nofollow') - Nginx：在 location 块加
add_header X-Robots-Tag "noindex, nofollow"; - Apache：用
Header set X-Robots-Tag "noindex, nofollow"（需mod_headers） - 多个响应头？可重复设置，Google 会合并；但不要写成
"noindex" "nofollow"，必须在同一行用逗号分隔
真正难的是动态页面的策略一致性：比如用户登录态不同，是否该 noindex？这时候光靠静态 meta 标签容易漏，得配合服务端逻辑+HTTP 头+CDN 缓存键设计。稍不注意，就出现“测试环境开了 noindex，上线忘了关”这种事。
前端入门到VUE实战笔记：立即使用
在学习笔记中，你将探索 前端 的入门与实战技巧！
