robots meta标签必须静态写入HTML的中且在首次HTTP响应中存在才生效；动态JS注入、置于或格式错误（如空格、大写）均会导致主流爬虫忽略，且不替代robots.txt或服务端权限控制。
robots meta标签写在哪才生效
必须放在 里，且在页面首次渲染前被解析；如果动态用 JavaScript 注入（比如通过 document.head.appendChild()），多数爬虫会直接忽略——它们不执行 JS，只读原始 HTML。
常见错误是把它塞进 或者放在 <script></script> 后面又没做 SSR，结果等于没写。
- 正确位置：
<meta name="robots" content="noindex"> - 多个指令用英文逗号分隔：
content="noindex,nofollow" - 不支持空格或中文逗号，
content="noindex, nofollow"中的空格会导致部分旧爬虫只识别第一个指令
content 值有哪些合法组合
robots 的 content 值不是任意字符串，只有特定关键词被广泛支持。Google、Bing 等主流引擎认 index/noindex 和 follow/nofollow，其余如 noarchive、nosnippet 属于扩展指令，支持度有限。
将 Markdown 文章转换为微信公众号兼容的纯 HTML 格式。当用户要求"转成微信格式"、"生成公众号文章 HTML"、"排版到微信草稿箱"、"微信粘贴格式"时触发。输出带内联样式的纯 HTML，微信编辑器可直接渲染，无需额外适配。支持标题、段落、列表、粗体、行内代码、表格、引用块、代码块、配图的完整转换。
- 最常用且兼容性最好的：
"noindex"、"noindex,nofollow"、"index,follow"（后者通常省略，因是默认行为） -
"none"是简写，等价于"noindex,nofollow"，但部分老旧爬虫不识别，建议显式写出 -
"noimageindex"仅对 Google 图片搜索有效，不影响网页本身索引 - 不要写
"noindex=1"或"robots=off"—— 这些不是标准语法，会被忽略
robots meta 标签和 robots.txt 冲突时谁优先
robots.txt 控制的是“能否抓取”，meta name="robots" 控制的是“抓取后是否索引”。两者作用阶段不同，不存在覆盖关系，但会叠加生效。
- 如果
robots.txt禁止访问某页面（Disallow: /private/），爬虫根本不会去请求它，自然也看不到里面的meta标签 - 如果
robots.txt允许抓取，但页面含<meta name="robots" content="noindex">，爬虫会抓取页面，然后不建索引 - 特别注意：
noindex不阻止抓取，可能产生额外带宽消耗；想彻底屏蔽，得靠robots.txt+ 服务器返回 403/404，而非仅靠 meta
SPA 页面中 robots meta 标签容易失效的原因
单页应用（React/Vue）常在客户端路由切换时更新 <title></title>，却忘了同步更新 <meta name="robots">。爬虫只看首屏 HTML 的 ，后续 JS 修改对它无效。
- 静态生成（SSG）时，确保每个页面的 HTML 文件里都包含对应逻辑的
meta标签 - 服务端渲染（SSR）需在服务端根据路由决定
content值，不能依赖客户端 React Helmet 的 useEffect - 检查方式：直接查看页面源代码（右键 → “查看页面源代码”），而不是浏览器开发者工具里的 Elements 面板
实际部署时，最容易被忽略的是：同一页面同时存在 robots.txt 规则和 meta 标签，但没验证二者是否协同——比如 robots.txt 放行了某路径，而该路径下所有页面又漏写了 noindex，就可能意外暴露测试页或后台入口。
前端入门到VUE实战笔记：立即使用
在学习笔记中，你将探索 前端 的入门与实战技巧！
