로봇이 효과를 발휘하는 데 얼마나 걸리나요?

웹사이트 구축 초기 단계에서 robots.txt 파일을 작성하는 것을 잊어버릴 때가 있습니다. 이때 검색 엔진에 포함되고 싶지 않은 콘텐츠가 많이 포함되어 있습니다. 오랜 시간이 지난 후에도 포함을 원하지 않는 페이지가 여전히 포함된 상태인 것 같습니다. 포함된 상태에서 로봇이 적용되는 데 시간이 얼마나 걸리나요?

Baidu Lee는 공개적으로 다음과 같이 말한 적이 있습니다. 사이트마다 조금씩 다르지만 일반적으로 며칠 내에 적용됩니다.

실제로 로봇이 적용되는 과정을 상상할 수 있습니다.

1. 스파이더는 로봇 파일의 수정 사항을 발견하고 정보를 다시 보냅니다.

2 수정 전과 후의 로봇 파일을 분석합니다

3. 데이터 포함이 허용되지 않는 색인을 삭제하세요.

이 프로세스에는 웹사이트마다 스파이더 크롤링 빈도가 다르고 웹사이트의 가중치가 다르기 때문에 다른 단계가 있을 수 있습니다. 웹 사이트) 스파이더가 로봇 변경 사항을 발견하는 시간이 지연되거나 우선 순위가 처리되어 로봇의 유효 시간이 달라지게 됩니다.

위의 분석을 통해 로봇의 유효 시간이 확실하지 않다는 결론을 내릴 수 있습니다. 로봇이 변경된 후 오랫동안 효과가 없으면 tousu.baidu.com

에 불만을 제기할 수 있습니다.

위 내용은 로봇이 효과를 발휘하는 데 얼마나 걸리나요?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!