如何用HTML代码禁止搜索引擎索引-html教程-PHP中文网

仅加不足以阻止索引，需配合robots.txt限制抓取、清除cdn缓存、避免响应头冲突，并根据场景选择noindex,nofollow等组合。

如何用html代码禁止搜索引擎索引

直接在页面里加 <meta name="robots" content="noindex"> 就能阻止搜索引擎索引该页——但仅靠它不够，必须配合其他措施才能真正生效。

为什么只写 `noindex` 有时没用

搜索引擎不强制遵守 noindex，尤其当页面已被大量外链指向或被缓存过。更关键的是：如果页面能被公开访问且未设访问控制，爬虫仍可能抓取它，再根据响应头或 HTML 中的指令决定是否索引。所以 noindex 是“请求不索引”，不是“拒绝访问”。

常见错误现象：

页面加了 <meta name="robots" content="noindex">，但搜索结果里仍出现快照（只是显示“暂无信息”）
WordPress 后台勾选“建议搜索引擎不索引本站点”，但部分页面仍被收录（尤其旧版本或 CDN 缓存未刷新）
noindex 放在模板全局，导致全站失效

`noindex` 的几种写法和适用场景

不同组合影响爬虫行为，不能只看“要不要索引”，还要看“要不要跟踪链接”：

<meta name="robots" content="noindex,nofollow">：最常用，禁止索引本页，也禁止爬虫顺着本页链接继续抓取
<meta name="robots" content="noindex,follow">：适合后台登录页、隐私页等——不让索引，但允许爬虫通过其他入口（如导航栏）发现合法页面
<meta name="baiduspider" content="noindex">：只对百度生效，其他引擎不受影响（注意拼写是 baiduspider，不是 baiduspide 或 BaiduSpider）
<meta name="googlebot" content="noindex">：只对 Google 生效，大小写不敏感，但推荐小写保持一致性

不要混用多个 name，比如同时写 robots 和 googlebot，优先级规则模糊，实测部分爬虫会忽略后者。

使用HTML,CSS,JavaScript开发Android应用程序英文文字pdf版附源文件

如果你了解HTML，CSS和JavaScript，您已经拥有所需的工具开发Android应用程序。本动手本书展示了如何使用这些开源web标准设计和建造，可适应任何Android设备的应用程序 - 无需使用Java。您将学习如何创建一个在您选择的平台的Android友好的网络应用程序，然后转换与自由PhoneGap框架到一个原生的Android应用程序。了解为什么设备无关的移动应用是未来的潮流，并开始构建应用程序，提供更

下载

必须搭配 `robots.txt` 使用

robots.txt 控制“能不能抓取”，noindex 控制“能不能索引”，两者缺一不可。如果只设 noindex 而不限制抓取，爬虫仍会频繁请求该页，浪费带宽和服务器资源；如果只禁 robots.txt，页面可能被其他站点链接后间接进入索引（比如通过引用 URL 的 snippet）。

典型配置：

想彻底屏蔽某个目录（如 /admin/）：
User-agent: *
Disallow: /admin/
想放行大部分，但屏蔽某几个页面：
User-agent: *
Disallow: /login.html
Disallow: /test-page.html
注意：Disallow: / 会封死全站，慎用；Disallow:（空值）等于允许所有

验证方式：用 Google Search Console 的“URL 检查工具”，或百度搜索资源平台的“robots.txt 分析器”，确认爬虫实际看到的规则。

容易被忽略的细节

真正让 noindex 生效，还得检查三件事：

HTTP 响应头里不能有 X-Robots-Tag: index，否则会覆盖 HTML 中的 meta 标签
CDN 或反向代理（如 Nginx、Cloudflare）可能缓存了旧的 HTML，导致新插入的 noindex 不生效，需主动 purge 缓存
页面被收录后，移除 noindex 不代表立刻恢复索引，Google 通常需要数天到数周重新抓取并评估；反之，加了 noindex 后，已收录页面也不会立即消失，而是标记为“待移除”，下次抓取时才会清理

最稳妥的做法：先在 robots.txt 中临时屏蔽路径，再加 noindex，等搜索结果消失后再放开 robots.txt 条目——这样既控流量，又保效果。