robots怎麼禁止抓取php

robots禁止抓取php的方法：1、在robots.txt檔案裡寫入「Disallow: /*?*」；2、在robots.txt檔案中加入規則「User-agent:* Allow : .html$ Disallow: /”即可。

本文操作環境：windows7系統、PHP7.1版，DELL G3電腦

robots禁止搜尋引擎抓取php動態網址

所謂的動態網址也就是指URL中包含？ ，& 等字元類別的網址，如：news.php?lang=cn&class=1&id=2，當我們在開啟了網站的偽靜態之後，為了網站的SEO，就很有必要避免搜尋引擎抓取我們網站的動態網址。

為什麼要這麼做？因為搜尋引擎在對相同的頁面抓取兩次之後但最後判定為同一個頁面的時候會而對網站做些觸發的，具體是怎麼處罰的，這個不太清楚，總之是不利於整個網站的SEO的。那麼該如何禁止搜尋引擎抓取我們網站的動態網址呢？

利用robots.txt檔案即可解決這個問題，請看下面的詳細操作。

我們知道動態頁面都有一個共同的特徵，就是在連結裡會帶有"?"這個問號的符號，因此我們可以在robots.txt檔案中寫入如下這樣的規則：

User-agent: *
Disallow: /*?*

這樣即可禁止搜尋引擎抓取整個網站的動態連結了。另外如果我們只想讓搜尋引擎抓取指定類型文件，如html格式的靜態頁面，可在robots.txt裡面加入如下這樣的規則：

User-agent: *
Allow: .html$
Disallow: /

另外記得一定要將寫好的robots. txt檔案放在你網站的根目錄中哦，不然是不起作用的。另外寫入規則有簡單的捷徑，登陸google網站管理員工具，只接在裡面寫入規則後，產生robots.txt檔案即可。

【推薦學習：《PHP影片教學》】

以上是robots怎麼禁止抓取php的詳細內容。更多資訊請關注PHP中文網其他相關文章！