PHP如何动态生成robots.txt禁止爬虫-php教程-PHP中文网

php动态生成robots.txt需配置web服务器重写规则（apache用rewriterule，nginx用location），由robots.php根据环境变量或域名判断输出策略，设置content-type: text/plain及禁用缓存头，确保语法规范无错误输出。

php如何动态生成robots.txt禁止爬虫

PHP动态生成robots.txt文件，核心是让服务器在请求/robots.txt时，不返回静态文件，而是由PHP脚本根据条件（如环境、域名、调试状态等）实时输出符合规范的文本内容，并正确设置Content-Type: text/plain响应头。

配置Web服务器重写规则

让所有对/robots.txt的请求交由PHP处理，而不是直接读取静态文件：

Apache（.htaccess）：添加规则，优先匹配robots.txt并重写到PHP脚本

<ifmodule mod_rewrite.c>
RewriteEngine On
RewriteRule ^robots\.txt$ /robots.php [L]
</ifmodule>

Nginx：在server块中添加location匹配

location = /robots.txt {
    try_files /robots.php =404;
}

编写robots.php逻辑控制输出

在robots.php中判断当前环境或需求，动态决定是否允许爬虫访问。常见场景包括：开发/测试环境禁止所有爬虫，生产环境允许主流搜索引擎，或按User-agent差异化限制。

btpanel phpsite 宝塔面板PHP网站

宝塔面板 PHP 网站管理：站点创建、删除、启停、PHP 版本切换、域名管理、SSL证书管理、伪静态管理、数据库管理

下载

检查$_SERVER['HTTP_HOST']或自定义环境变量（如$_ENV['APP_ENV']）
使用header('Content-Type: text/plain; charset=utf-8');确保浏览器和爬虫正确解析
输出标准robots.txt语法，每行一条指令，空行分隔分组

<?php header('Content-Type: text/plain; charset=utf-8');

$env = $_ENV['APP_ENV'] ?? 'production';
$host = $_SERVER['HTTP_HOST'] ?? '';

// 开发/测试环境一律禁止所有爬虫
if (in_array($env, ['local', 'dev', 'staging'])) {
    echo "User-agent: *\n";
    echo "Disallow: /\n";
    exit;
}

// 生产环境：允许主流爬虫，禁止敏感路径
echo "User-agent: *\n";
echo "Disallow: /admin/\n";
echo "Disallow: /api/\n";
echo "Disallow: /wp-admin/\n";
echo "\n";
echo "User-agent: Googlebot\n";
echo "Allow: /\n";

避免缓存导致策略失效

动态生成的内容容易被CDN、反向代理或浏览器缓存，导致爬虫读到过期规则。需主动禁用缓存：

添加Cache-Control和Expires头，强制不缓存
可选加上Last-Modified（设为当前时间），避免304协商缓存

header('Cache-Control: no-cache, no-store, must-revalidate, max-age=0');
header('Expires: Sat, 01 Jan 2000 00:00:00 GMT');
header('Last-Modified: ' . gmdate('D, d M Y H:i:s') . ' GMT');