ホームページ  >  記事  >  バックエンド開発  >  PHPでWebサイトのHTMLをスクレイピングする方法

PHPでWebサイトのHTMLをスクレイピングする方法

WBOY
WBOYオリジナル
2016-06-13 12:08:38899ブラウズ

PHP を使用して Web サイトの HTML を取得する方法


接続アドレス

http://detail.tmall.com/item.htm?spm=a230r.1.0.0.MlI5e4&id=40364502055&ad_id=&am_id=&cm_id=140105335569ed55e27b&pm_id=&abbucket=12



を使用して上記の接続の HTML を取得し、file_get_contents( ) テストしても成功しないのはなぜでしょうか?
------解決策----------------------
file_get_contents() が成功しました
------解決策のアイデア-----------
<br /><?php <br />	$url="http://detail.tmall.com/item.htm?spm=a230r.1.0.0.MlI5e4&id=40364502055&ad_id=&am_id=&cm_id=140105335569ed55e27b&pm_id";<br />	$content = getcurl($url);<br />	echo $content;<br /><br />	<br />    function getcurl($url){<br />		$ch = curl_init(); <br />		curl_setopt($ch, CURLOPT_URL, $url);<br />		curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);<br />		curl_setopt($ch, CURLOPT_FOLLOWLOCATION,true);<br />		curl_setopt($ch, CURLOPT_MAXREDIRS,20);<br />		$file_contents = curl_exec($ch);<br />		return $file_contents;<br />		curl_close($ch);<br />    }<br />?><br />

Wherecurl_setopt($ ch, CURLOPT_FOLLOWLOCATION ,true); 設定はより重要であり、Tmall のリダイレクト ページをフォローするために使用できます。

声明:
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。