最轻量可控的禁止索引方式是在中添加，因其直接指令搜索引擎不收录且不跟踪链接，而robots.txt仅限制抓取、无法阻止已外链页面被索引。
直接在 里加 <meta name="robots" content="noindex, nofollow"> 就行，这是最轻量、最可控的禁止方式。
为什么不用 robots.txt？
robots.txt 只能「阻止爬虫访问」，不能「阻止已抓取页面被索引」。比如：其他网站链接了你的 index.html，即使 robots.txt 写了 Disallow: /index.html，百度或 Google 仍可能把它列在搜索结果里（只显示 URL 和片段，不展示正文）。而 noindex 是明确告诉搜索引擎「别收这个页面」，效果更准。
- robots.txt 是服务器层规则，对已缓存/被外链的页面基本失效
-
noindex是页面级指令，只要 HTML 被爬到，就会被尊重（主流引擎均支持） - 如果同时用了
robots.txt禁止抓取 + 页面内写noindex，反而可能导致搜索引擎压根看不到noindex指令——因为连页面都没下载
content 值怎么选？常见组合和后果
关键看你要保留什么、屏蔽什么。别盲目套 noindex, nofollow：
-
noindex, follow：页面不被收录，但页面上的链接仍可被跟踪、传递权重（适合测试页带跳转入口） -
noindex, nofollow：完全隔离，既不收录本页，也不爬它链接的其他页（适合纯后台、表单提交页） -
noindex（不写follow或nofollow）：等价于noindex, follow，是默认行为 - 别用
none：不是标准值，部分爬虫会忽略
实际插入位置和验证要点
必须放在 内，且最好靠前（避免被 JS 动态注入或服务端条件渲染漏掉）：
<meta name="robots" content="noindex, nofollow"><title>内部测试页</title> ...
- 检查是否被压缩工具删掉：某些构建流程（如 Webpack + html-webpack-plugin）会过滤未知
meta标签，确认生成后的 HTML 确实存在该标签 - 不要依赖 JS 注入：爬虫不执行 JS，
document.write或innerHTML插入的meta无效 - 验证是否生效：用 Google Search Console 的「URL 检查」工具输入完整 URL，看「索引状态」是否为「已排除：已标记为 noindex」
真正容易被忽略的是缓存——CDN 或反向代理可能缓存了旧版 HTML，导致你改了代码但爬虫看到的还是没加 noindex 的版本。上线后务必清空相关缓存并用隐身窗口重请求 index.html 查看源码确认。
前端入门到VUE实战笔记：立即使用
在学习笔记中，你将探索 前端 的入门与实战技巧！
