Ein Trick, um die Verwendung der robots.txt-Datei in Empire CMS zu lösen

Das Beispiel in diesem Artikel beschreibt die Verwendung der robots.txt-Datei in Empire CMS. Teilen Sie es als Referenz mit allen. Die spezifische Analyse lautet wie folgt:

Bevor ich über die Verwendung der robots.txt-Datei in Empire CMS spreche, möchte ich Ihnen erklären, was robots.tx tut (auch bekannt als Crawler-Protokoll, Crawler-Regeln, Robot-Protokoll usw.) ist robots.txt. Die Website teilt der Suchmaschine mit, welche Seiten über das Robots-Protokoll gecrawlt werden können und welche nicht. Das Robots-Protokoll ist ein allgemeiner Ethikkodex in der internationalen Internet-Community. Sein Zweck besteht darin, Website-Daten und sensible Informationen zu schützen und sicherzustellen, dass die persönlichen Daten und die Privatsphäre der Benutzer nicht verletzt werden. Da es sich nicht um einen Befehl handelt, müssen Suchmaschinen ihm bewusst Folge leisten. Einige Viren wie Malware erhalten häufig Hintergrunddaten und persönliche Informationen von Websites, indem sie das Roboterprotokoll ignorieren.

Die robots.txt-Datei ist eine Textdatei, die mit jedem gängigen Texteditor erstellt und bearbeitet werden kann, z. B. Notepad, das im Windows-System enthalten ist. robots.txt ist ein Protokoll, kein Befehl. robots.txt ist die erste Datei, die Suchmaschinen beim Besuch einer Website betrachten. Die robots.txt-Datei teilt dem Spider mit, welche Dateien auf dem Server angezeigt werden können.

Es wird empfohlen, „

Empire CMS-Tutorial

“ zu studieren. Wenn ein Suchspider eine Website besucht, prüft er zunächst, ob robots.txt im Stammverzeichnis der Website vorhanden ist Wenn es vorhanden ist, bestimmen Suchroboter den Zugriffsbereich anhand des Inhalts der Datei. Wenn die Datei nicht vorhanden ist, können alle Suchspider auf alle Seiten der Website zugreifen, die nicht passwortgeschützt sind. Baidu empfiehlt offiziell, dass Sie die robots.txt-Datei nur dann verwenden müssen, wenn Ihre Website Inhalte enthält, die nicht von Suchmaschinen indiziert werden sollen. Wenn Sie möchten, dass Suchmaschinen den gesamten Inhalt Ihrer Website einbeziehen, erstellen Sie keine robots.txt-Datei.

Wenn Sie sich eine Website wie ein Zimmer in einem Hotel vorstellen, ist robots.txt das „Bitte nicht stören“- oder „Welcome to Clean“-Schild, das der Eigentümer an der Zimmertür aufhängt. Diese Datei teilt den besuchenden Suchmaschinen mit, welche Räume betreten und besucht werden können und welche Räume für Suchmaschinen nicht zugänglich sind, weil sie Wertgegenstände aufbewahren oder die Privatsphäre von Bewohnern und Besuchern gefährden könnten. Aber robots.txt ist weder ein Befehl noch eine Firewall, genauso wie ein Gatekeeper böswillige Eindringlinge wie Diebe nicht aufhalten kann.

Die Standard-robots.txt von Empire CMS lautet:

Der Code lautet wie folgt:

#
# robots.txt for EmpireCMS
#
User-agent: * *允许所有搜索引擎抓取
Disallow: /d/ *禁止所有搜索引擎抓取D目录
Disallow: /e/class/ *禁止所有搜索引擎抓取/e/class/ 目录
Disallow: /e/data/ *禁止所有搜索引擎抓取/e/data/ 目录
Disallow: /e/enews/ *禁止所有搜索引擎抓取/e/enews/ 目录
Disallow: /e/update/ *禁止所有搜索引擎抓取/e/update/ 目录

Ich hoffe, dieser Artikel wird allen beim Erstellen des hilfreich sein Empire CMS-Website.

Das obige ist der detaillierte Inhalt vonEin Trick, um die Verwendung der robots.txt-Datei in Empire CMS zu lösen. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!