一招搞定帝國CMS中robots.txt檔案用法

本文實例講述了帝國CMS中robots.txt檔案用法。分享給大家供大家參考。具體分析如下：

在說帝國CMS中robots.txt檔案使用前先給大家解釋下robots.tx是做什麼的.

robots協定（也稱為爬蟲協定、爬蟲規則、機器人協議等）也就是robots.txt，網站透過robots協議告訴搜尋引擎哪些頁面可以抓取，哪些頁面不能抓取。 Robots協議是網站國際互聯網界通行的道德規範，其目的是保護網站資料和敏感資訊、確保用戶個人資訊和隱私不被侵犯。因其不是命令，故需要搜尋引擎自覺遵守。有些病毒如malware（馬威爾病毒）經常透過忽略robots協議的方式，取得網站後台資料和個人資訊。

robots.txt檔案是一個文字文件，使用任何一個常見的文字編輯器，例如Windows系統自帶的Notepad，就可以建立和編輯它。 robots.txt是一個協議，而不是一個命令。 robots.txt是搜尋引擎中造訪網站的時候要查看的第一個檔案。 robots.txt檔案告訴蜘蛛程式在伺服器上什麼檔案是可以被檢視的。

推薦學習《帝國cms教程》

當一個搜尋蜘蛛訪問一個網站時，它會先檢查該網站根目錄下是否存在robots.txt，如果存在，搜尋機器人就會按照該文件中的內容來確定訪問的範圍；如果該文件不存在，所有的搜索蜘蛛將能夠訪問網站上所有沒有被口令保護的頁面。百度官方建議，只有當您的網站包含不希望被搜尋引擎收錄的內容時，才需要使用robots.txt檔案。如果您希望搜尋引擎收錄網站上所有內容，請勿建立robots.txt檔案。

如果將網站視為飯店裡的一個房間，robots.txt就是主人在房間門口懸掛的「請勿打擾」或「歡迎打掃」的提示牌。這份文件告訴來訪的搜尋引擎哪些房間可以進入和參觀，哪些房間因為存放貴重物品，或可能涉及住戶及訪客的隱私而不對搜尋引擎開放。但robots.txt不是命令，也不是防火牆，如同守門人無法阻止竊賊等惡意闖入者。

帝國CMS預設robots.txt為:

程式碼如下：

#
# robots.txt for EmpireCMS
#
User-agent: * *允许所有搜索引擎抓取
Disallow: /d/ *禁止所有搜索引擎抓取D目录
Disallow: /e/class/ *禁止所有搜索引擎抓取/e/class/ 目录
Disallow: /e/data/ *禁止所有搜索引擎抓取/e/data/ 目录
Disallow: /e/enews/ *禁止所有搜索引擎抓取/e/enews/ 目录
Disallow: /e/update/ *禁止所有搜索引擎抓取/e/update/ 目录

希望本文所述對大家的帝國CMS建站有幫助。

以上是一招搞定帝國CMS中robots.txt檔案用法的詳細內容。更多資訊請關注PHP中文網其他相關文章！