HTML代码中设置搜索引擎不抓取的meta标记

浅明大大_2362

浅明大大_2362

2026-07-24

799人浏览

原创

直接在中添加可阻止搜索引擎索引该页,但不禁止爬虫访问;noindex仅控制是否收录,nofollow才控制是否跟踪链接,二者需按场景组合使用,且必须服务端静态注入、位置正确、拼写无误。

html代码中设置搜索引擎不抓取的meta标记

如何用 meta 标签告诉搜索引擎不抓取当前页面

直接在 里加 <meta name="robots" content="noindex"> 即可阻止搜索引擎索引该页。这不是“禁止爬取”,只是“别收录”——爬虫仍可能访问页面,但不会放进搜索结果。

noindex 和 nofollow 的区别与组合用法

常见混淆点:很多人以为 noindex 会自动阻止链接传递权重,其实不会。noindex 只管是否入索引,nofollow 才管是否跟踪链接。

  • content="noindex":页面不被收录,但页面上的链接仍可能被爬虫跟随
  • content="nofollow":页面可被收录,但页面内所有链接不传递权重、不被跟踪
  • content="noindex, nofollow":最彻底的屏蔽——不收录、不跟踪链接、不传递权重
  • content="none" 是简写,等价于 "noindex, nofollow"(但部分旧爬虫可能不识别,建议显式写全)

哪些场景必须用 noindex 而不是靠 robots.txt

robots.txt 只能屏蔽爬虫访问路径,无法控制已访问页面的索引行为;而 noindex 是页面级指令,更精准可靠。

html-to-pptx
html-to-pptx

将多页 HTML 演示文稿转换为美化的 PPTX 文件,便于分享和分发。

下载
  • 登录页、后台入口页(如 /admin/login.html)——robots.txt 屏蔽后,若其他页面有外链指向它,仍可能被索引;加 noindex 才真正安全
  • 分页参数页(如 ?page=2)、筛选页(如 ?sort=price)——URL 参数不同但内容重复,易触发重复内容惩罚
  • A/B 测试页、临时活动页——上线前就应加上 noindex,避免误入索引
  • 注意:robots.txt 中禁止访问的页面,如果被大量外部链接指向,搜索引擎仍可能仅凭 URL 和锚文本生成摘要页(称为“幽灵页面”),此时 noindex 是唯一补救手段

容易被忽略的兼容性与验证细节

Google、Bing、Yandex 都支持 name="robots",但部分垂直爬虫或监控工具只认特定 name 值。

  • 不要用 name="googlebot" 单独控制 Google——name="robots" 已覆盖所有主流爬虫;单独写 googlebot 可能被其他爬虫忽略
  • noindex 必须放在 HTML 的 内,且不能被 JS 动态插入(搜索引擎通常不执行 JS 来读取 meta)
  • 服务端渲染(SSR)或静态生成站点中,确保每个页面的 noindex 是实际生效的——比如 Next.js 的 getStaticProps 里没传对 noIndex: true,生成的 HTML 就不会包含该标签
  • 上线后用 Google Search Console 的“URL 检查”工具查看“已编入索引”状态,比看源码更可靠——因为缓存、CDN 或爬虫延迟可能导致源码有标签但实际未生效

真正起作用的是爬虫解析到的最终 HTML 中是否存在该 meta 标签,而不是你写了没写。

前端入门到VUE实战笔记:立即使用
在学习笔记中,你将探索 前端 的入门与实战技巧!

相关专题

更多
html版权符号
html版权符号

html版权符号是“©”,可以在html源文件中直接输入或者从word中复制粘贴过来,php中文网还为大家带来html的相关下载资源、相关课程以及相关文章等内容,供大家免费下载使用。

2023.06.14

5435

7

html在线编辑器
html在线编辑器

html在线编辑器是用于在线编辑的工具,编辑的内容是基于HTML的文档。它经常被应用于留言板留言、论坛发贴、Blog编写日志或等需要用户输入普通HTML的地方,是Web应用的常用模块之一。php中文网为大家带来了html在线编辑器的相关教程、以及相关文章等内容,供大家免费下载使用。

2023.06.21

3132

4

html网页制作
html网页制作

html网页制作是指使用超文本标记语言来设计和创建网页的过程,html是一种标记语言,它使用标记来描述文档结构和语义,并定义了网页中的各种元素和内容的呈现方式。本专题为大家提供html网页制作的相关的文章、下载、课程内容,供大家免费下载体验。

2023.07.31

2790

5

html空格
html空格

html空格是一种用于在网页中添加间隔和对齐文本的特殊字符,被用于在网页中插入额外的空间,以改变元素之间的排列和对齐方式。本专题为大家提供html空格的相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.01

2819

5

html是什么
html是什么

HTML是一种标准标记语言,用于创建和呈现网页的结构和内容,是互联网发展的基石,为网页开发提供了丰富的功能和灵活性。本专题为大家提供html相关的各种文章、以及下载和课程。

2023.08.11

4699

6

html字体大小怎么设置
html字体大小怎么设置

在网页设计中,字体大小的选择是至关重要的。合理的字体大小不仅可以提升网页的可读性,还能够影响用户对网页整体布局的感知。php中文网将介绍一些常用的方法和技巧,帮助您在HTML中设置合适的字体大小。

2023.08.11

2761

3

html转txt
html转txt

html转txt的方法有使用文本编辑器、使用在线转换工具和使用Python编程。本专题为大家提供html转txt相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.31

2569

3

html文本框代码怎么写
html文本框代码怎么写

html文本框代码:1、单行文本框【<input type="text" style="height:..;width:..;" />】;2、多行文本框【textarea style=";height:;"></textare】。

2023.09.01

2308

6

HTML嵌入CSS样式的方法
HTML嵌入CSS样式的方法

HTML嵌入CSS样式的方法有内联样式、内部样式表和外部样式表。本专题为大家提供CSS样式相关的文章、下载、课程内容,供大家免费下载体验。

2023.09.20

2308

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
GDB 17.2 官方文档集合
GDB 17.2 官方文档集合

共0课时 | 0人学习

Bootstrap 入门安装配置
Bootstrap 入门安装配置

共0课时 | 0人学习

38+ PhpStorm 提示和技巧
38+ PhpStorm 提示和技巧

共1课时 | 219人学习