Rumah > Soal Jawab > teks badan
Kod
$httpClass = new Snoopy();
$httpClass->fetch('https://v.qq.com/');
$url = $httpClass->results;
print_r($url);mati();
Merangkak https://www.baidu.com/ terus melaporkan 405 ralat
Merangkak https://v.qq.com/ berjalan seperti biasa
Mencari jawapan, saya telah mengerjakannya sepanjang petang dan masih tidak dapat menyelesaikannya
淡淡烟草味2017-05-16 13:00:40
Baidu mungkin mempunyai tetapan seperti perangkak Anda perlu menyamar dan mentakrifkan UA atau sesuatu seperti itu
Rujukan: http://www.4wei.cn/archives/396
天蓬老师2017-05-16 13:00:40
Ini bukan masalah jenis Snoopy. Ini kerana anda tidak tahu banyak tentang crawler. Oleh kerana terdapat crawler, sudah tentu akan ada teknologi anti-crawler. Yang paling mudah adalah berdasarkan pengecam penyemak imbas atau perujuk dalam pengepala permintaan, dsb. Tapak web besar seperti Baidu dan Tencent tidak mahu kami merangkak data, jadi mereka mesti telah mengambil banyak langkah pencegahan. Oleh itu, adalah disyorkan untuk memahami pengetahuan crawler sebelum merangkak data.