ホームページ  >  記事  >  バックエンド開発  >  ブラウザと同じようにGoogleの結果をクロールする方法

ブラウザと同じようにGoogleの結果をクロールする方法

WBOY
WBOYオリジナル
2016-06-13 13:18:23819ブラウズ

Google の結果をクロールする方法はブラウザと同じです
php の CURL 拡張機能を使用して Google キーワード ページのデータをクロールしますが、ヘッダーを追加して返されるページの結果は依然としてブラウザと一致しません。

そこで、プログラムでキャプチャされたページ結果とブラウザーで表示されるページ結果を一致させる方法を専門家に教えてもらいたいと思っています。

ありがとうございます

たった 20 点です。専門家の皆様にはご容赦いただければ幸いです。

-----解決策---------
このように、URLアドレスを自分で変更することができます。

PHP コード
header("コンテンツタイプ: text/html; charset=utf-8");
$ch =curl_init();
$url = 'http://www.google.com/search?hl=zh-CN&biw=1366&bih=649&q=ajax&oq=ajax+comment&aq=f&aqi=g9g-m1&aql=&gs_sm=e&gs_upl=5916l9958l0l10319l16l14l1l0l0l0l267l 1925l 0.6.4l10l0';
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.2) Gecko/20090729 Firefox/3.5.2 GTB5');
$htmls =curl_exec($ch);
カール_クローズ($ch);
エコー $htmls; <div class="clear"></div>
声明:
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。