】,禁止搜尋引擎抓取網站並顯示網頁快照。"/> 】,禁止搜尋引擎抓取網站並顯示網頁快照。">

首頁  >  文章  >  專題  >  如何拒絕搜尋引擎收錄網站

如何拒絕搜尋引擎收錄網站

青灯夜游
青灯夜游原創
2019-05-24 15:29:017839瀏覽

拒絕搜尋引擎收錄網站的方法:可以在head標籤中加入內容【52830eb81b554cba49d78f9ba680f5cb】,禁止搜尋引擎抓取網站並顯示網頁快照。

如何拒絕搜尋引擎收錄網站

一個新的網站建好之後,只要搜尋引擎蜘蛛抓取到的、網站內容不是很差勁那麼搜尋引擎就很有可能收錄我們的網站,如果因為某些原因不想讓搜尋引擎收錄網站,那要如何操作?下面這篇文章就來跟大家講解一下。

方法一:設定 robots.txt 方法

可以利用設定robots.txt來封鎖搜尋引擎蜘蛛,那麼什麼是robots.txt?

搜尋引擎使用spider程式自動存取網路上的網頁並取得網頁資訊。 spider在造訪一個網站時,會先檢查網站的根網域下是否有一個叫做 robots.txt的純文字文件,這個文件用來指定spider在您網站上的抓取範圍。您可以在您的網站中建立一個robots.txt,在文件中聲明該網站中不想被搜尋引擎收錄的部分或指定搜尋引擎只收錄特定的部分。

請注意,只有當您的網站包含不希望被搜尋引擎收錄的內容時,才需要使用robots.txt檔案。如果您希望搜尋引擎收錄網站上所有內容,請勿建立robots.txt檔案。

如何使用robots.txt屏蔽搜尋引擎蜘蛛?

搜尋引擎預設的遵守robots.txt 協議,建立robots.txt 文字檔案放到網站根目錄下,編輯程式碼如下:

User-agent: *
Disallow: /

透過上述程式碼,即可告訴搜尋引擎不要抓取採取收錄本網站,注意慎用如上代碼:這將禁止所有搜尋引擎造訪網站的任何部分。

如果只想禁止百度收錄全站,可以編輯如下程式碼:

User-agent: Baiduspider
Disallow: /

如果只想禁止Google收錄全站,可以編輯如下程式碼:

User-agent: Googlebot
Disallow: /

方式二:設定網頁程式碼方法

在網站首頁程式碼93f0f5c25f18dab9d176bd4f6de5d30e與9c3bca370b5104690d9ef395f2c5f8d1之間,加入如下程式碼,即可禁止搜尋引擎抓取網站並顯示網頁快照。

<meta name="robots" content="noarchive">

在網站首頁代碼93f0f5c25f18dab9d176bd4f6de5d30e與9c3bca370b5104690d9ef395f2c5f8d1之間,加入如下程式碼,即可禁止百度搜尋引擎抓取網站並顯示網頁快照。

<meta name="Baiduspider" content="noarchive">

在網站首頁代碼93f0f5c25f18dab9d176bd4f6de5d30e與9c3bca370b5104690d9ef395f2c5f8d1之間,加入以下程式碼,即可禁止Google搜尋引擎抓取網站並顯示網頁快照。

<meta name="googlebot" content="noarchive">

以上是如何拒絕搜尋引擎收錄網站的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述:
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn