PHPでWebコンテンツをクロールする手順

php で Web コンテンツをクロールする方法

転載元:?http://bbs.phplovers.com/read-htm-tid-453.html

1. ファイル取得コンテンツ:

?

<?php
$url = "http://www.phpzixue.cn"; 
$contents = file_get_contents($url); 
//如果出现中文乱码使用下面代码 
//$getcontent = iconv("gb2312", "utf-8",$contents); 
echo $contents; 
?>

?

?

2. カール:

?

<?php
$url = "http://www.phpzixue.cn";
$ch = curl_init(); 
$timeout = 5; 
curl_setopt($ch, CURLOPT_URL, $url); 
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); 
curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, $timeout); 
//在需要用户检测的网页里需要增加下面两行 
//curl_setopt($ch, CURLOPT_HTTPAUTH, CURLAUTH_ANY); 
//curl_setopt($ch, CURLOPT_USERPWD, US_NAME.":".US_PWD); 
$contents = curl_exec($ch); 
curl_close($ch); 
echo $contents; 
?>

?

?

3. fopen->fread->fclose:

?

<?php
$handle = fopen ("http://www.phpzixue.cn", "rb"); 
$contents = ""; 
do { 
$data = fread($handle, 1024); 
if (strlen($data) == 0) { 
break; 
} 
$contents .= $data; 
} while(true); 
fclose ($handle); 
echo $contents; 
?>

?

?