首頁  >  文章  >  專題  >  Robots生效多久

Robots生效多久

藏色散人
藏色散人原創
2019-05-25 15:00:372288瀏覽

Robots生效多久

有時候我們建站前期忘記寫robots.txt檔案了,很多我們不想讓搜尋引擎收錄的內容卻被收錄了,這個時候會發現好像過了很久我們不想讓收錄的頁面還是處於被收錄的狀態,到底robots生效要多久呢?

百度lee曾在公開場合說過:不同的網站略有不同,但通常在幾天內陸續生效。

其實我們可以假想下robots生效的過程:

1.蜘蛛發現robots檔案修改並將訊息傳回

2 .分析修改前後的robots檔案

3.刪除不允許被收錄的索引資料

這個過程中肯能還會存在其他的一些步驟,然而由於每個網站蜘蛛爬的頻率和網站的權重不同(網站的重要性)而導致蜘蛛發現robots更改的時間延時或被處理的優先權不同,最終導致的結果就是robots的生效時間不同。

透過以上分析我們可以得出robots的生效時間並不是一定的,如果你的robots更改後很久都沒有生效的話,可以去這裡投訴:tousu.baidu.com

以上是Robots生效多久的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述:
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn