python - 禁止自己的网站被爬虫爬去？

Question

禁止自己的网站被爬虫爬去？有什么方法啊

Answer 1

타겟 크롤러를 방어하는 경우 액세스 빈도, 인증 코드 추가 등과 같은 일부 액세스 제한을 적용할 수 있습니다.

Answer 2

1. js를 이용해 중요한 내용을 동적으로 추가

2. http_referer 제한

3. 정규 표현식 세트와 완벽하게 일치할 수 없는 다양한 인터페이스에 대해 다양한 템플릿을 고려할 수 있습니다.

4. 크롤링될 수 있는 콘텐츠에 일부 저작권 정보를 무작위로 추가

5. 로그인 후 방문하실 수 있습니다

6. 접속 로그를 기록합니다

생각나는 건 그게 다인데, 정말 잡고 싶다면 좀 더 힘들 것 같아요

Answer 3

검색엔진 크롤링을 비활성화하려면 robots.txt를 수정하면 됩니다
개인 크롤링을 비활성화하는 것은 다소 어려울 수 있습니다. 더 복잡한 인증 코드, 액세스 빈도, 일반 스타일/데이터를 추가하는 등 난이도를 높일 수 있습니다. 형식 변경 등