ホームページ  >  記事  >  バックエンド開発  >  Baidu をクロールするには、curl_setopt を使用します。Baidu 画像の盗難を防ぐ最善の方法は何ですか?

Baidu をクロールするには、curl_setopt を使用します。Baidu 画像の盗難を防ぐ最善の方法は何ですか?

WBOY
WBOYオリジナル
2016-06-20 12:55:59886ブラウズ

$url = "http://www.baidu.com/s?wd=csdn";$header = array (        'User-Agent: Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/33.0.1750.146 Safari/537.36');$ch = curl_init ();$timeout = 10; curl_setopt ( $ch, CURLOPT_URL, $url );curl_setopt ( $ch, CURLOPT_HTTPHEADER, $header );curl_setopt ( $ch, CURLOPT_RETURNTRANSFER, 1 );curl_setopt ( $ch, CURLOPT_CONNECTTIMEOUT,$timeout);$content = curl_exec ( $ch );if ($content == FALSE) {    echo "error:" . curl_error ( $ch );}curl_close ( $ch );echo $content;



ディスカッションへの返信 (解決策)

偽造されたリファラー URL

1 階それは非常に明確になりました。

偽のリファラー URL


curl_setopt ($ch, CURLOPT_REFERER, 'http://www.baidu.com/');
画像が表示されるとき、それはphpからのcurlリクエストではなく、ブラウザからのリクエストであることを理解する必要があります。ブラウザーによって送信されたリクエスト、現在の URL のドメイン名 (www.devtest.com など)、画像のリファラーは何か。したがって、写真は絶対に見ることができません。


1 つの方法は、すべての Baidu 画像を自分で作成した php (url/image.php?baidu_url=****** など) に置き換えることです。***** は実際の画像のアドレスです。 image.php は、curl を呼び出し、それをフェッチするための参照を追加します。

http://i7.baidu.com/it/u=1366412274,1504179524&fm=96&s=E840F41219BFE0C844FC8DCA0300F0B3

コードを使用して直接アクセスすることはできません (403 エラー)
ただし、Cookie は持参しますhttp://www.baidu.com/s?wd=csdn にアクセスすると取得できます。コード

を使用してアクセスできます。皆さん、ありがとうございます。解決されました


header('Content-type:image/jpeg');$ch = curl_init ();$url = "http://t12.baidu.com/it/u=1464136568,2122787600&fm=58&s=3FF6E816C0B4FF90237DC7C40200F024";curl_setopt ( $ch, CURLOPT_URL, $url );curl_setopt ( $ch, CURLOPT_REFERER, 'http://www.baidu.com'); $content = curl_exec ( $ch );curl_close ( $ch );echo $content;

声明:
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。