So schreiben Sie robots.txt

Die Schreibmethode von robots.txt muss das SEO-Personal kennen (was ist robots.txt), aber wie man es schreibt, was verboten und was erlaubt ist, müssen wir selbst festlegen.

Baidu Spider ist eine Maschine, die nur Zahlen, Buchstaben und chinesische Schriftzeichen erkennt, und robots.txt ist der wichtigste und erste „Dialog“ mit Baidu.

Wenn unsere Website noch nicht erstellt ist, möchten wir nicht, dass Baidu unsere Website crawlt, und einige Leute verbieten Baidu oft, sie zu crawlen. Allerdings ist dieser Ansatz sehr schlecht, da er es den Baidu-Spidern erschwert, erneut auf Ihre Website zu gelangen. Daher müssen wir die Website jetzt lokal erstellen und dann den Domainnamen und den Speicherplatz kaufen, nachdem alles erledigt ist. Andernfalls haben wiederholte Änderungen an einer Website bestimmte negative Auswirkungen auf Ihre Website.

Die ursprüngliche robots.txt unserer Website lautet wie folgt:

User-Agent: *

Disallow: /wp-admin/

Disallow : / wp-includes/

User-agent: * bedeutet, allen Engines das Crawlen erlauben.

Disallow: /wp-admin/ und Disallow: /wp-includes/ verbieten Baidu das Crawlen unserer Privatsphäre, einschließlich Benutzerpasswörter, Datenbanken usw. Diese Schreibweise schützt nicht nur unsere Privatsphäre, sondern maximiert auch das Crawlen von Baidu Spider.

Wenn Sie Baidu Spider das Crawlen einer bestimmten Seite, z. B. 123.html, verbieten möchten, fügen Sie den Code „Disallow: /123.html/“ hinzu.

Nachdem Sie robots.txt geschrieben haben, müssen Sie es nur noch in das Stammverzeichnis der Website hochladen.

Das obige ist der detaillierte Inhalt vonSo schreiben Sie robots.txt. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!