ホームページ >バックエンド開発 >PHPチュートリアル >PHP は、curl と正規表現を使用して Web ページデータをクロールします。 example_PHP チュートリアル

PHP は、curl と正規表現を使用して Web ページデータをクロールします。 example_PHP チュートリアル

WBOYオリジナル: 2016-07-13 10:32:49878ブラウズ

curl と正規表現を使用して、Motie 中国語 Web サイトの非 VIP 章用の小説グラバーを構築します。小説をダウンロードするための小説 ID の入力をサポートしています。
依存関係:curl
Curl、正規表現、Ajax などのテクノロジーが使用されており、初心者に適しています。ローカルでテストする場合は、インターネットに接続していることを確認し、PHP がcurl モードをオンにしていることを確認する必要があります

SpiderTools.class.php

コードをコピーコードは次のとおりです:

session_start();
//封装成类开启这些自动抓取文章
#header("Refresh:30;http://www.test.com:8080");
class SpiderTools{
//////////////////////////////////////////////////////////////////////////////////////////////////////////
/*传入文章ID 解析出文章标题*/
//////////////////////////////////////////////////////////////////////////////////////////////////////////
public function getBookNameById($aid){
//初始化curl
$ch= curl_init();
//url
$url='http://www.motie.com/book/'.$aid;
if(is_numeric($aid)){
//正则表达式匹配
$ru="/\s*(.*)\s*<\/a>\s*<\/h1>/";
 }
 else{
 //丧尸爆发之全家求生路_第一章丧尸爆发　为吾友爱乐儿更新~_磨铁
 $ru="/(.*)<\/title>/"; } //设置选项，包括URL curl_setopt($ch, CURLOPT_URL, $url); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);//不自动输出内容 curl_setopt($ch, CURLOPT_HEADER, 0);//不返回头部信息 curl_setopt($ch, CURLOPT_CONNECTTIMEOUT_MS, 0); //执行curl $output = curl_exec($ch); //错误提示 if(curl_exec($ch) === false){ die(curl_error($ch)); } // 检查是否有错误发生 if(curl_errno($ch)){ echo 'Curl error: ' . curl_error($ch); } //释放curl句柄 curl_close($ch); $arr=array(); preg_match_all($ru,$output,$arr); return $arr[1][0]; } ////////////////////////////////////////////////////////////////////////////////////////////////////////// /*传入文章ID 解析文章内容*/ ////////////////////////////////////////////////////////////////////////////////////////////////////////// public function getBookContextById($aid){ //开始解析文章 $ids=array(); $ids=explode("_",$aid); $titleId=trim($ids[0]); $aticleId=trim($ids[1]); $ch= curl_init(); $ru="/<div class=\"page-content\">[\s\S]*<pre ondragstart=\"return false\" oncopy=\"return false;\" oncut=\"return false;\" oncontextmenu=\"return false\" class=\"note\" id=\"html_content_\d*\">[\s\S]*(.*)<img src=\"\/ajax\/chapter\/$titleId\/$aticleId\" class=\"hidden\" \/><\/pre>/ui"; $url='http://www.motie.com/book/'.$aid; //正则表达式匹配 //设置选项，包括URL curl_setopt($ch, CURLOPT_URL, $url); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);//不自动输出内容 curl_setopt($ch, CURLOPT_HEADER, 0);//不返回头部信息 curl_setopt($ch, CURLOPT_CONNECTTIMEOUT_MS, 0); //执行curl $output = curl_exec($ch); //错误提示 if(curl_exec($ch) === false){ die(curl_error($ch)); } // 检查是否有错误发生 if(curl_errno($ch)){ echo 'Curl error: ' . curl_error($ch); } $arr=array(); $arr2=array(); preg_match_all($ru,$output,$arr); curl_close($ch); #var_dump($arr); $s=$arr[0][0]; $s=substr($s,180); $arr2=explode("<img",$s); return trim($arr2[0]); } ////////////////////////////////////////////////////////////////////////////////////////////////////////// /*静态方法 @生成小说文件可以直接调用 */ ////////////////////////////////////////////////////////////////////////////////////////////////////////// public static function createBookById($id){ if(!is_numeric($id)){ echo " INIT BEGIN START WRITE!"; $st=new self(); $cons=$st->getBookContextById($id); $title=$st->getBookNameById ($id); $cons=trim($cons); $t=explode(" ",$title); //ディレクトリを構築 $dir=array(); $dir=explode("_" ,$t[0]); $wzdir=$dir[0]; //ブック名をディレクトリ名として使用します $wzchapter=$dir[1]; //章 //ディレクトリを作成します $wzdir2=iconv (" UTF-8", "GBK", $wzdir);//ディレクトリエンコーディング。$wzdir 文字列への参照は、ファイル名を構築するためにここに保持されることに注意してください。二次エンコーディングを防ぐためにここで使用することはできません if(!file_exists ($wzdir2)){ mkdir($wzdir2); //ディレクトリを作成 } //ファイル名を構築 $wztitle="./".$wzdir."/"."$t[0]"." .txt"; //保存したファイル名が文字化けしていないか確認してください $wztitle=iconv("UTF-8", "GBK", $wztitle); $f=fopen($wztitle,"w+"); fwrite ($f,$cons); echo "$wzdir ".$wzchapter."書き込みに成功しました"; fclose($f); } else{ $ids=self::getBookIdsById($id); //ここではサーバーがオフラインの可能性があるため、セッション記録ループを使用するのが最善です # for($i=$_SESSION["$id"."_fid"];$i<=count($ids);$_SESSION["$id"."_fid"]++,$i++){ # self::createBookById($id."_".$ids[$_SESSION["$id"."_fid"]++]);//id を構築します #} for($i=$ _SESSION[" $id"."_fid"];$i<=count($ids);$_SESSION["$id"."_fid"]++,$i++){ self::createBookById($id) ."_ ".$ids[$i]);//Construct id } #echo "<hr/><hr/> <h1>書き込み作業は完了< /h1>"; #echo $id."_".$ids[0]." "; #var_dump($ids); } } /* 小説のIDを全て取得 @param $id 記事ID @return array; */ public static function getBookIdsById($aid){ $ch=curl_init(); $url =' http://www.motie.com/book/'.$aid."/chapter"; //ここに注意してください、最低限一致するアイテムを入手できます $ru='/[sS]*?< li class= "" createdate="d{4}-d{2}-d{2} d{2}:d{2}:d{2}">[sS]*?<a href=" /book/ '.$aid.'_(d*?)"s{1}>.*?</a>.*?/u';//正規表現マッチング //URL を含むオプションを設定します curl_setopt($ch, CURLOPT_URL, $url); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);//コンテンツを自動的に出力しない curl_setopt($ch, CURLOPT_HEADER, 0);//ヘッダー情報を返さない curl_setopt ($ch , CURLOPT_CONNECTTIMEOUT_MS, 0); //curl を実行します $output =curl_exec($ch); // エラーが発生したかどうかを確認します if(curl_errno($ch)){ echo 'Curl エラー: ' 。 curl_error($ ch); } //curl ハンドルを解放します curl_close($ch); $arr=array(); preg_match_all($ru,$output,$arr,PREG_PATTERN_ORDER); return $arr[1 ]; } } ?> </div> getinfo.php <div class="codetitle"> コードをコピーします コードは次のとおりです:</div> <div class="code" id="code20928"> <?php session_start(); require_once("SpiderTools.class.php"); if($_REQUEST[" bid"]) { if(is_numeric($_REQUEST["bid"])){ SpiderTools::createBookById(trim($_REQUEST["bid"])); } else{ echo " 正しい記事 ID を入力してください "; } } ?> </div> index.html <div class="codetitle"> コードをコピーします コードは次のとおりです:</div> <div class="code" id="code98901"> <html> <head><meta charset="utf-8"/></head> <title>小説をダウンロード

; Motie 中国語 Web サイトで見たい小説の ID 番号を入力して小説をダウンロードします

PHP は、curl と正規表現を使用して Web ページ データをクロールします。 example_PHP チュートリアル

; Motie 中国語 Web サイトで見たい小説の ID 番号を入力して小説をダウンロードします

PHP は、curl と正規表現を使用して Web ページデータをクロールします。 example_PHP チュートリアル