thinkphp 项目不生成 robots.txt，需手动创建纯文本 utf-8 无 bom 文件置于 public/ 目录下；典型配置禁止 /admin/、/runtime/ 等敏感路径，放行 /public/uploads/、/static/，声明 sitemap；可动态生成适配多环境。
ThinkPHP 项目本身不生成或管理 robots.txt，它只是 PHP 框架，robots.txt 的配置与框架无关，但需放在网站根目录（如 /public/ 下），且必须是纯文本文件、UTF-8 编码、全小写命名。
基础配置：静态 robots.txt 文件
在 ThinkPHP 部署结构中（推荐使用 public 为 Web 入口），将 robots.txt 直接上传至 public/ 目录下，确保可通过 https://yourdomain.com/robots.txt 正常访问。
-
禁止后台和敏感路径：如
/admin/、/runtime/、/app/、/config/等默认不应被索引 -
放行公开内容：如
/article/、/about、/public/uploads/等前端展示路径 -
声明 Sitemap：建议添加绝对路径的站点地图，例如
Sitemap: https://www.php.cn/link/1a572981681bbe89a6506dd43ad80ec7
ThinkPHP 场景下的典型写法示例
适用于大多数 ThinkPHP 个人博客或企业展示站：
User-agent: * Disallow: /admin/ Disallow: /runtime/ Disallow: /app/ Disallow: /config/ Disallow: /extend/ Allow: /public/uploads/ Allow: /static/ <p>Sitemap: <a href="https://www.php.cn/link/1a572981681bbe89a6506dd43ad80ec7">https://www.php.cn/link/1a572981681bbe89a6506dd43ad80ec7</a></p><div class="aritcle_card flexRow artxards"> <div class="artcardd flexRow"> <a class="aritcle_card_img" rel="nofollow" href="/xiazai/skill2138" title="PHP"><img src="https://img.php.cn/upload/skill/000/000/081/178884013267959.jpg" alt="PHP" onerror="this.onerror='';this.src='/static/lhimages/moren/morentu.png'" ></a> <div class="aritcle_card_info flexColumn"> <a rel="nofollow" href="/xiazai/skill2138" title="PHP" class="overflowclass">PHP</a> <p class="overflowclass">编写健壮的PHP代码，规避类型转换陷阱、数组怪癖及常见安全漏洞。</p> </div> <a rel="nofollow" href="/xiazai/skill2138" title="PHP" class="aritcle_card_btn flexRow flexcenter"><b></b><span>下载</span> </a> </div> </div>
注意：/public/ 是 ThinkPHP 的 Web 根目录，所以 /static/ 和 /public/uploads/ 实际对应服务器上的 public/static/ 和 public/uploads/，路径以 URL 路径为准，不是服务器物理路径。
进阶用法：PHP 动态生成（适配多环境或爬虫差异化策略）
若需按爬虫类型返回不同规则（如给百度蜘蛛设 Crawl-delay，或屏蔽非搜索引擎的采集器），可用 PHP 动态输出：
- 创建
public/robots.php，开头加header('Content-Type: text/plain'); - 用
$_SERVER['HTTP_USER_AGENT']匹配常见爬虫 UA（如Baiduspider、Googlebot、AhrefsBot） - 在 Nginx 或 Apache 中重写请求：把对
/robots.txt的访问指向该 PHP 文件 - Nginx 示例：
rewrite ^/robots\.txt$ /robots.php last;
避坑提醒
ThinkPHP 项目常因部署方式引发问题：
- 误把
robots.txt放在application/或thinkphp/目录下——无效，必须在 Web 可访问根目录（即public/） - 用 Windows 记事本保存导致 BOM 头，造成解析错误——请用 VS Code、Notepad++ 等工具另存为 UTF-8 无 BOM 格式
- 配置了
Disallow: /却忘了Allow子路径，导致全站被屏蔽 - ThinkPHP 的伪静态路由（如
index.php?s=/article/123）不影响 robots.txt 判断，但需确保真实 URL 路径（如/article/）在规则中明确放行
php免费学习视频：立即使用
踏上前端学习之旅，开启通往精通之路！从前端基础到项目实战，循序渐进，一步一个脚印，迈向巅峰！
