怎样使用PHP限制爬虫的Crawl-delay-php教程-PHP中文网

php不直接控制crawl-delay，但可动态生成robots.txt内容以差异化响应爬虫；需配合nginx限速（如limit_req）才能真正约束高频访问，因crawl-delay仅为建议，恶意爬虫无视。

怎样使用php限制爬虫的crawl-delay

PHP本身不直接生成或控制Crawl-delay字段——这个字段只存在于静态robots.txt文件中，是供爬虫主动读取并遵守的提示性指令，而非服务器可强制执行的规则。但你可以用PHP动态生成robots.txt内容，根据请求来源（如User-Agent）返回差异化的Crawl-delay值，从而引导合规爬虫按你期望的节奏抓取。

一、用PHP动态输出robots.txt（核心做法）

将网站根目录的robots.txt请求重写到robots.php，由PHP决定返回什么内容：

Nginx配置示例（宝塔/自建环境均适用）：

rewrite ^/robots\.txt$ /robots.php last;

robots.php 示例代码：

<?php header('Content-Type: text/plain; charset=utf-8');

$user_agent = $_SERVER['HTTP_USER_AGENT'] ?? '';

if (stripos($user_agent, 'Googlebot') !== false) {
    echo "User-agent: Googlebot\n";
    echo "Crawl-delay: 5\n";
    echo "Allow: /\n";
} elseif (stripos($user_agent, 'Baiduspider') !== false) {
    echo "User-agent: Baiduspider\n";
    echo "Crawl-delay: 10\n";
    echo "Allow: /\n";
} elseif (stripos($user_agent, 'YandexBot') !== false) {
    echo "User-agent: YandexBot\n";
    echo "Crawl-delay: 7\n";
    echo "Allow: /\n";
} else {
    // 默认规则：不限制，或限制更宽松
    echo "User-agent: *\n";
    echo "Crawl-delay: 3\n";
    echo "Disallow: /admin/\n";
    echo "Disallow: /api/\n";
}
?>

✅ 这样做的好处：

PHP
编写健壮的PHP代码，规避类型转换陷阱、数组怪癖及常见安全漏洞。

下载

百度蜘蛛看到 Crawl-delay: 10，会自动每10秒最多抓1个页面；

Googlebot看到 Crawl-delay: 5，则按5秒间隔抓取；

其他爬虫走默认策略，避免一刀切误伤。

二、配合Nginx限速，真正管住高频行为

⚠️ 注意：Crawl-delay只是“建议”，恶意爬虫（如Scrapy、curl脚本）根本不会读它。所以必须叠加服务端限速：

在Nginx server块顶部添加：

map $http_user_agent $is_search_spider {
    ~*Googlebot     1;
    ~*Baiduspider   1;
    ~*YandexBot     1;
    default         0;
}

limit_req_zone $is_search_spider zone=spider:10m rate=2r/s;

在location /中启用：