robots.txt를 작성하는 방법

robots.txt 작성 방법은 SEO 담당자가 꼭 알아야 할 사항(robots.txt란 무엇인가)이지만, 작성 방법, 금지 사항, 허용 사항은 우리가 직접 설정해야 합니다.

Baidu Spider는 숫자, 문자, 한자만 인식하는 기계이며 robots.txt는 Baidu와의 가장 중요하고 첫 번째 "대화"입니다.

우리 웹사이트가 아직 구축되지 않은 경우 Baidu가 웹사이트를 크롤링하는 것을 원하지 않는 경우가 있습니다. 그러나 이 접근 방식은 Baidu 스파이더가 귀하의 웹 사이트를 다시 방문하기 어렵게 만들기 때문에 매우 나쁩니다. 그러므로 우리는 지금 웹사이트를 로컬로 구축해야 하며 모든 작업이 완료된 후 도메인 이름과 공간을 구입해야 합니다. 그렇지 않으면 웹사이트를 반복적으로 수정하면 웹사이트에 특정한 부정적인 영향을 미칠 것입니다.

당사 웹사이트의 초기 robots.txt는 다음과 같이 작성됩니다.

User-agent: *

Disallow: /wp-admin/

Disallow: /wp-includes/

User-agent: *는 허용함을 의미합니다. 그래서 엔진이 크롤링됩니다.

Disallow: /wp-admin/ 및 Disallow: /wp-includes/ Baidu가 사용자 비밀번호, 데이터베이스 등의 개인정보를 크롤링하는 것을 금지합니다. 이러한 글쓰기 방식은 개인 정보를 보호할 뿐만 아니라 Baidu Spider의 크롤링을 극대화합니다.

Baidu Spider가 123.html과 같은 특정 페이지를 크롤링하는 것을 금지하려면 "Disallow: /123.html/" 코드를 추가하세요.

robots.txt를 작성한 후 웹사이트의 루트 디렉터리에 업로드하기만 하면 됩니다.

위 내용은 robots.txt를 작성하는 방법의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!