php - snoopy爬蟲 報錯405 Not Allowed

Question

代碼

$httpClass = new Snoopy();
$httpClass->fetch('https://v.qq.com/');
$url = $httpClass->results;
print_r($url);die() ;

爬取https://www.baidu.com/就一直報405錯誤

爬取https://v.qq.com/ 是正常運作的

求解答，弄了一下午都沒解決

Answer 1

百度估計是做了仿爬蟲的設定了，你要進行偽裝，定義一個UA之類的
參考： http://www.4wei.cn/archives/396

Answer 2

這個不是Snoopy類別的問題。是你不太了解爬蟲的相關知識。既然有爬蟲，當然就會有反爬蟲的技術。最簡單的就是基於瀏覽器標識或是請求頭header中的referer等等。百度和騰訊這種大站是不會想我們爬取數據的，一定做了很多防範措施。所以建議在爬取資料之前先了解下爬蟲的知識。