首頁  >  文章  >  專題  >  robots.txt的寫法

robots.txt的寫法

anonymity
anonymity原創
2019-05-26 15:12:253683瀏覽

robots.txt的寫法是做seo的人員必須知道的(什麼是robots.txt),但該如何寫,禁止哪些、允許哪些,這就要我們自己設定了。 

百度蜘蛛是一機器,它只認識數字、字母和漢字,而其中robots.txt就是最重要也是最開始、百度「對話」的內容。 

robots.txt的寫法

當我們的網站在沒有建造的時候,我們不希望百度來抓取我們的網站,往往有人會禁止百度來抓取。但是,這種做法是非常不好的,這樣會讓百度蜘蛛很難再來到你的網站了。所以,我們必須現在本地搭建網站,等一切都搞好以後,再去買網域、空間,要不,一個網站的反覆修改,會對你的網站有一定的不利影響。

我們的網站一開始的robots.txt寫法如下: 

User-agent: * 

Disallow: /wp-admin/ 

#Disallow: / wp-includes/ 

User-agent: * 的意思是,允許所以引擎擷取。 

而Disallow: /wp-admin/和Disallow: /wp-includes/,則是禁止百度抓取我們的隱私,包括使用者密碼、資料庫等。這樣的寫法既保護了我們的隱私,也讓百度蜘蛛的抓取最大化。 

如果,你想禁止百度蜘蛛抓取某一個頁面,例如123.html,那就加一句程式碼「Disallow: /123.html/」即可。 

robots.txt寫好後,只需上傳到網站的根目錄下即可。

以上是robots.txt的寫法的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述:
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn