首页  >  文章  >  php教程  >  PHP学习笔记:通过curl实现采集网站内容

PHP学习笔记:通过curl实现采集网站内容

WBOY
WBOY原创
2016-10-15 10:31:501296浏览

  关于curl,请各位同学自行百度,我直接上案例。

  首先开启你的curl拓展,在php.ini文件把curl拓展开启,即取消extension=php_curl.dll的分号。

eg:利用curl采集网站内容,并输出到txt文档:

  目标:抓取本博客首页,并输出到文档

<span style="font-size: 18px;"><span style="color: #000000;">php
</span><span style="color: #800080;">$ch</span> = curl_init("http://www.cnblogs.com/jianqingwang/"<span style="color: #000000;">);
</span><span style="color: #800080;">$fp</span> = <span style="color: #008080;">fopen</span>("example_jianqingwang.txt", "w"<span style="color: #000000;">);

curl_setopt(</span><span style="color: #800080;">$ch</span>, CURLOPT_FILE, <span style="color: #800080;">$fp</span><span style="color: #000000;">);
curl_setopt(</span><span style="color: #800080;">$ch</span>, CURLOPT_HEADER, 0<span style="color: #000000;">);

curl_exec(</span><span style="color: #800080;">$ch</span><span style="color: #000000;">);
curl_close(</span><span style="color: #800080;">$ch</span><span style="color: #000000;">);
</span><span style="color: #008080;">fclose</span>(<span style="color: #800080;">$fp</span><span style="color: #000000;">);
</span>?></span>

效果:

eg:抓取网站内容,并直接输出

      目标:抓取http://www.cnblogs.com/jianqingwang/,并直接输出



// 1. 初始化
$ch = curl_init();
// 2. 设置选项,包括URL
curl_setopt($ch, CURLOPT_URL, "http://www.cnblogs.com/jianqingwang/");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 0);//改为0就不输出
curl_setopt($ch, CURLOPT_HEADER, 0);
// 3. 执行并获取HTML文档内容
$output = curl_exec($ch);
// 4. 释放curl句柄
curl_close($ch);
?>

<span style="font-size: 18px;"> </span>

效果:

    说明:这里界面有点不一样,是因为css和图片地址都是相对路径,所以图片、css都失效了。

<span style="font-size: 18px;"> </span>

eg:

声明:
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn