WordPress如何防止爬虫采集标签云-php教程-PHP中文网

防止wordpress标签页被批量采集，需限制归档页仅显示摘要、禁用无限翻页（如限制最多5页）、关闭rss feed、动态添加url参数干扰爬虫，并结合ua识别与访问频率控制进行综合防护。

wordpress如何防止爬虫采集标签云

WordPress标签云（Tag Cloud）本身是公开的导航组件，通常通过 wp_tag_cloud() 或小工具输出，其链接指向 /tag/xxx 归档页。这类页面结构清晰、URL规则固定、内容高度可预测，恰恰是爬虫批量采集文章列表的首选入口。防止被采集，关键不是隐藏标签云本身，而是切断“从标签页批量获取全文”的路径。

限制标签归档页的内容输出

默认情况下，/tag/xxx/ 页面会显示该标签下所有文章的完整内容（尤其是主题未做摘要设置时）。应强制改为仅显示摘要，并禁用无限翻页：

进入设置 → 阅读，将“博客页面至多显示”设为合理值（如10篇），并勾选“对于文章和静态页面，显示摘要”

在主题 functions.php 中添加代码，确保标签归档页不输出全文：

add_filter('the_content', 'limit_tag_archive_content');<br>
function limit_tag_archive_content($content) {<br>
  if (is_tag() && !is_user_logged_in()) {<br>
    return wp_trim_words($content, 55, '… <a href="'%20.%20get_permalink()%20.%20'">[阅读全文]</a>');<br>
  }<br>
  return $content;<br>
}

封禁标签页的批量翻页行为

爬虫常通过 /tag/xxx/page/2、/tag/xxx/page/3 等持续翻页抓取全站内容。可在 functions.php 中限制最大页码：

Teleport tsh SSH (Identity-First SSH Access, no passwords/static keys)

使用tbot机器ID身份文件配合tsh CLI，通过Teleport访问控制SSH登录托管主机或执行远程命令。

下载

加入以下逻辑，使标签归档页超过第5页即返回404：

add_action('pre_get_posts', 'restrict_tag_pagination');<br>
function restrict_tag_pagination($query) {<br>
  if ($query->is_tag() && $query->is_main_query() && !is_admin()) {<br>
    $max_page = 5;<br>
    if ($query->get('paged') > $max_page) {<br>
      $query->set_404();<br>
      status_header(404);<br>
    }<br>
  }<br>
}

削弱标签页的机器可读性

即使内容受限，标签页仍可能被用于发现文章URL。可通过干扰手段降低采集价值：

关闭标签页的RSS Feed：在 functions.php 中加入

add_action('do_feed_rss2', 'disable_tag_feeds', 1);<br>
add_action('do_feed_atom', 'disable_tag_feeds', 1);<br>
function disable_tag_feeds() { if (is_tag()) wp_die('Feed not available for tag archives.'); }

对标签云链接动态添加随机参数（如 ?v=abc123），配合Nginx或.htaccess重写忽略该参数，让爬虫生成大量重复无效URL，增加其去重成本

补充防护：User-Agent与访问频率控制

标签页请求特征明显（高频、无Referer、固定路径），适合做服务端拦截：

使用插件（如声达网防采集插件）开启“封禁采集器UA”，重点屏蔽 TrainCollector、Scrapy、python-requests 等常见采集标识

在 .htaccess 中限制单IP对 /tag/ 路径的请求频次（需服务器支持 mod_evasive 或类似模块）：

<ifmodule mod_rewrite.c><br>
RewriteCond %{REQUEST_URI} ^/tag/ [NC]<br>
RewriteCond %{ENV:RATE_LIMIT} >5<br>
RewriteRule ^ - [R=429,L]<br></ifmodule>