phpはWebページをクロールします

php を使用してページのコンテンツをキャプチャすると、Web ページのコンテンツの一部を抽出する単純なコンテンツ コレクターとして使用するなど、実際の開発で非常に役立ちます。キャプチャしたコンテンツをフィルタリングすることで取得できます。正規表現を使用して目的のコンテンツを見つけるには、php を使用して Web ページのコンテンツをクロールするためによく使用されるいくつかの方法を以下に示します。
1.file_get_contents
PHPコード

$url = "http://www.phpzixue.cn";
$contents = file_get_contents($url);
//如果出现中文乱码使用下面代码
//$getcontent = iconv("gb2312", "utf-8",$contents);
echo $contents;
?>

$url = "http://www.phpzixue.cn"; $contents = file_get_contents($url); //中国語が文字化けする場合は以下のコードを使用してください
//$getcontent = iconv("gb2312", "utf-8",$contents); エコー $contents; ?> テーブル>
2.カール

$url = "http://www.phpzixue.cn";
$ch = curl_init();
$timeout = 5;
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, $timeout);
//在需要用户检测的网页里需要增加下面两行
//curl_setopt($ch, CURLOPT_HTTPAUTH, CURLAUTH_ANY);
//curl_setopt($ch, CURLOPT_USERPWD, US_NAME.":".US_PWD);
$contents = curl_exec($ch);
curl_close($ch);
echo $contents;
?>

PHPコード テーブル>
3.fopen->fread->fclose
PHPコード

$url = "http://www.phpzixue.cn"; $ch =curl_init(); $タイムアウト = 5
curl_setopt($ch, CURLOPT_URL, $url); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, $timeout); //次の 2 行をユーザー検出が必要な Web ページに追加する必要があります

$handle = fopen ("http://www.phpzixue.cn", "rb");
$contents = "";
do {
$data = fread($handle, 1024);
if (strlen($data) == 0) {
break;
}
$contents .= $data;
} while(true);
fclose ($handle);
echo $contents;
?>

//curl_setopt($ch, CURLOPT_HTTPAUTH, CURLAUTH_ANY); //curl_setopt($ch, CURLOPT_USERPWD, US_NAME.":".US_PWD); $contents =curl_exec($ch); カール_クローズ($ch);
エコー $contents; ?>

テーブル> 注: 1. file_get_contents と fopen を使用して、allow_url_fopen を有効にします。方法: php.ini を編集し、allow_url_fopen = On に設定します。allow_url_fopen がオフの場合、fopen も file_get_contents もリモート ファイルを開くことができません。 2.curl を使用するには、curl を有効にするためのスペースが必要です。方法: Windows で php.ini を変更し、extension=php_curl.dll の前のセミコロンを削除し、ssleay32.dll と libeay32.dll を C:WINDOWSsystem32 にコピーします。Linux では、curl 拡張機能をインストールします。

$handle = fopen ("http://www.phpzixue.cn", "rb"); $contents = ""
する {
$data = fread($handle, 1024); if (strlen($data) == 0) {

休憩

}

$contents .= $data } while(true); fclose ($handle) エコー $contents; ?>