Heim > Artikel > Backend-Entwicklung > php使用curl和正则表达式抓取网页数据示例_PHP

php使用curl和正则表达式抓取网页数据示例_PHP

WBOYOriginal: 2016-06-01 11:54:40951Durchsuche

正则表达式

利用curl和正则表达式做的一个针对磨铁中文网非vip章节的小说抓取器，支持输入小说ID下载小说。
依赖项：curl
可以简单的看下，里面用到了curl ,正则表达式，ajax等技术，适合新手看看。在本地测试，必须保证联网并且确保php开启curl的mode

SpiderTools.class.php
复制代码代码如下:
session_start();
//封装成类开启这些自动抓取文章
#header("Refresh:30;http://www.test.com:8080");
class SpiderTools{
//////////////////////////////////////////////////////////////////////////////////////////////////////////
/*传入文章ID 解析出文章标题*/
//////////////////////////////////////////////////////////////////////////////////////////////////////////
public function getBookNameById($aid){
  //初始化curl
  $ch= curl_init();
  //url
  $url='http://www.motie.com/book/'.$aid;
  if(is_numeric($aid)){
  //正则表达式匹配
  $ru="/

\s(.)\s\s/";
 }
 else{
 //丧尸爆发之全家求生路_第一章丧尸爆发　为吾友爱乐儿更新~_磨铁
 $ru="/(.)/"; } //设置选项，包括URL curl_setopt($ch, CURLOPT_URL, $url); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);//不自动输出内容 curl_setopt($ch, CURLOPT_HEADER, 0);//不返回头部信息 curl_setopt($ch, CURLOPT_CONNECTTIMEOUT_MS, 0); //执行curl $output = curl_exec($ch); //错误提示 if(curl_exec($ch) === false){ die(curl_error($ch)); } // 检查是否有错误发生 if(curl_errno($ch)){ echo 'Curl error: ' . curl_error($ch); } //释放curl句柄 curl_close($ch); $arr=array(); preg_match_all($ru,$output,$arr); return $arr[1][0]; } ////////////////////////////////////////////////////////////////////////////////////////////////////////// /传入文章ID 解析文章内容/ ////////////////////////////////////////////////////////////////////////////////////////////////////////// public function getBookContextById($aid){ //开始解析文章 $ids=array(); $ids=explode("_",$aid); $titleId=trim($ids[0]); $aticleId=trim($ids[1]); $ch= curl_init(); $ru="/<div class='\"page-content\"'>[\s\S]<pre ondragstart='\"return' false oncopy='\"return' oncut='\"return' oncontextmenu='\"return' class='\"note\"' id='\"html_content_\d\"'>[\s\S](.)<img src="%5C%22%5C/ajax%5C/chapter%5C/%24titleId%5C/%24aticleId%5C%22" class='\"hidden\"' alt="php使用curl和正则表达式抓取网页数据示例_PHP" >/ui"; $url='http://www.motie.com/book/'.$aid; //正则表达式匹配 //设置选项，包括URL curl_setopt($ch, CURLOPT_URL, $url); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);//不自动输出内容 curl_setopt($ch, CURLOPT_HEADER, 0);//不返回头部信息 curl_setopt($ch, CURLOPT_CONNECTTIMEOUT_MS, 0); //执行curl $output = curl_exec($ch); //错误提示 if(curl_exec($ch) === false){ die(curl_error($ch)); } // 检查是否有错误发生 if(curl_errno($ch)){ echo 'Curl error: ' . curl_error($ch); } $arr=array(); $arr2=array(); preg_match_all($ru,$output,$arr); curl_close($ch); #var_dump($arr); $s=$arr[0][0]; $s=substr($s,180); $arr2=explode("<img alt="php使用curl和正则表达式抓取网页数据示例_PHP" > return trim($arr2[0]); } ////////////////////////////////////////////////////////////////////////////////////////////////////////// /静态方法 @生成小说文件可以直接调用 / ////////////////////////////////////////////////////////////////////////////////////////////////////////// public static function createBookById($id){ if(!is_numeric($id)){ echo " INIT BEGIN START WRITE!"; $st=new self(); $cons=$st->getBookContextById($id); $title=$st->getBookNameById($id); $cons=trim($cons); $t=explode(" ",$title); //构造目录 $dir=array(); $dir=explode("_",$t[0]); $wzdir=$dir[0]; //书名称作为目录名称 $wzchapter=$dir[1]; //第几章 //创建目录 $wzdir2=iconv("UTF-8", "GBK", $wzdir);//目录编码注意这里保留对$wzdir字符串的引用，用来构造文件名，不能用此处，防止二次编码 if(!file_exists($wzdir2)){ mkdir($wzdir2); //创建目录 } //构造文件名 $wztitle="./".$wzdir."/"."$t[0]".".txt"; //保证保存的文件名称不是乱码 $wztitle=iconv("UTF-8", "GBK", $wztitle); $f=fopen($wztitle,"w+"); fwrite($f,$cons); echo "$wzdir ".$wzchapter."写入成功"; fclose($f); } else{ $ids=self::getBookIdsById($id); //这里服务器可能会掉线，所以最好用session记录循环 #for($i=$_SESSION["$id"."_fid"];$i #self::createBookById($id."_".$ids[$_SESSION["$id"."_fid"]++]);//构造id #} for($i=$_SESSION["$id"."_fid"];$i self::createBookById($id."_".$ids[$i]);//构造id } #echo "<hr><hr> <h1>写入工作全部完成</h1>"; #echo $id."_".$ids[0]." "; #var_dump($ids); } } / 获取小说的所有ID @param $id 文章ID @return array; / public static function getBookIdsById($aid){ $ch= curl_init(); $url='http://www.motie.com/book/'.$aid."/chapter"; //注意这里的?可以获取最少匹配项 $ru='/[\s\S]?</pre> <li class='\"\"' createdate='\"\d{4}\-\d{2}\-\d{2}'>[\s\S]?<a href="%5C%22%5C/book%5C/'.%24aid.'_(%5Cd?)%5C%22%5Cs%7B1%7D">.?.?/u';//正则表达式匹配 //设置选项，包括URL curl_setopt($ch, CURLOPT_URL, $url); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);//不自动输出内容 curl_setopt($ch, CURLOPT_HEADER, 0);//不返回头部信息 curl_setopt($ch, CURLOPT_CONNECTTIMEOUT_MS, 0); //执行curl $output = curl_exec($ch); // 检查是否有错误发生 if(curl_errno($ch)){ echo 'Curl error: ' . curl_error($ch); } //释放curl句柄 curl_close($ch); $arr=array(); preg_match_all($ru,$output,$arr,PREG_PATTERN_ORDER); return $arr[1]; } } ?> getinfo.php 复制代码 代码如下: <?php session_start(); require_once("SpiderTools.class.php"); if($_REQUEST["bid"]){ if(is_numeric($_REQUEST["bid"])){ SpiderTools::createBookById(trim($_REQUEST["bid"])); } else{ echo " 请输入正确的文章ID "; } } ?> index.html 复制代码 代码如下: <meta charset="utf-8"> <title>下载小说啦

输入磨铁中文网你想看到的小说ID号就可以下载小说啦

function stateChanged()
{
if(xmlHttp.readyState==1){

document.getElementById("info").innerHTML="正在准备工作，请耐心点哦~^_^~
";
}
if(xmlHttp.readyState==2){

document.getElementById("info").innerHTML="正在联系服务器，这可能需要一点时间啦^>";
}

if(xmlHttp.readyState==3){

document.getElementById("info").innerHTML="正在解析数据
";
}

if (xmlHttp.readyState==4 || xmlHttp.readyState=="complete")
{

document.getElementById("info").innerHTML=xmlHttp.responseText;
//xmlHttp.abort();

}

}

function GetXmlHttpObject()
{
var xmlHttp=null;
try
{
// Firefox, Opera 8.0+, Safari
xmlHttp=new XMLHttpRequest();
}
catch (e)
{
//Internet Explorer
try
{
xmlHttp=new ActiveXObject("Msxml2.XMLHTTP");
}
catch (e)
{
xmlHttp=new ActiveXObject("Microsoft.XMLHTTP");
}
}
return xmlHttp;
}

Stellungnahme：

Der Inhalt dieses Artikels wird freiwillig von Internetnutzern beigesteuert und das Urheberrecht liegt beim ursprünglichen Autor. Diese Website übernimmt keine entsprechende rechtliche Verantwortung. Wenn Sie Inhalte finden, bei denen der Verdacht eines Plagiats oder einer Rechtsverletzung besteht, wenden Sie sich bitte an admin@php.cn

Vorheriger Artikel：免费手机号码归属地API查询接口和PHP使用实例分享_PHPNächster Artikel：php中的curl使用入门教程和常见用法实例_PHP

In Verbindung stehende Artikel

Mehr sehen