php - 스누피 크롤러가 오류 405를 보고합니다. 허용되지 않음

Question

코드

$httpClass = new Snoopy();
$httpClass->fetch('https://v.qq.com/');
$url = $httpClass->results;
print_r($url);die();

https://www.baidu.com/ 크롤링 시 계속 405 오류가 보고됩니다

https://v.qq.com/ 크롤링이 정상적으로 실행되고 있습니다

답변을 찾고 있는데 오후 내내 고민했는데 아직도 해결이 안 되네요

Answer 1

Baidu에는 아마도 크롤러와 같은 설정이 있을 것입니다. 이를 위장하고 UA 등을 정의해야 합니다.
참조: http://www.4wei.cn/archives/396

Answer 2

스누피형 문제가 아닙니다. 크롤러에 대해 잘 모르기 때문입니다. 크롤러가 있기 때문에 당연히 크롤러 방지 기술도 있을 것입니다. 가장 간단한 방법은 브라우저 식별자나 요청 헤더의 참조자 등을 기반으로 합니다. Baidu나 Tencent와 같은 대형 웹사이트는 우리가 데이터를 크롤링하는 것을 원하지 않을 것이므로 많은 예방 조치를 취했을 것입니다. 따라서 데이터를 크롤링하기 전에 크롤러에 대한 지식을 이해하는 것이 좋습니다.