Heim  >  Artikel  >  Backend-Entwicklung  >  求好手,模拟浏览器抓取网页

求好手,模拟浏览器抓取网页

WBOY
WBOYOriginal
2016-06-13 12:36:48828Durchsuche

求高手,模拟浏览器抓取网页
如抓取http://map.sogou.com/api/这个网页,我写的程序,如果不带网址后面的"/",会抓取得不到,但是站上网(http://tool.chinaz.com/Tools/PageCode.aspx),不带最后面的"/"即可抓取到(即:http://map.sogou.com/api),他是什么原理?下面贴出我的代码,请改进

<br />
<br />
function file_get($url){<br />
	 ob_start();<br />
	 $ch = curl_init();<br />
	 <br />
	 curl_setopt($ch, CURLOPT_COOKIEJAR, "./cookie.txt");<br />
	 curl_setopt($ch, CURLOPT_USERAGENT, "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; .NET CLR 2.0.50727; InfoPath.1; CIBA)");<br />
	curl_setopt($ch, CURLOPT_URL, $url);<br />
	 curl_setopt($ch, CURLOPT_HEADER, FALSE);<br />
	 curl_setopt($ch, CURLOPT_COOKIESESSION, TRUE);<br />
	 curl_setopt($ch, CURLOPT_NOBODY, FALSE);<br />
<br />
	 curl_exec($ch);<br />
	 curl_close($ch);<br />
	 $content = ob_get_clean();<br />
	 <br />
	 <br />
<br />
	return $content;<br />
<br />
}<br />

Stellungnahme:
Der Inhalt dieses Artikels wird freiwillig von Internetnutzern beigesteuert und das Urheberrecht liegt beim ursprünglichen Autor. Diese Website übernimmt keine entsprechende rechtliche Verantwortung. Wenn Sie Inhalte finden, bei denen der Verdacht eines Plagiats oder einer Rechtsverletzung besteht, wenden Sie sich bitte an admin@php.cn