phP的抓取网站类库
<?php header("Content-Type: text/html; charset=UTF-8"); require("phpQuery.php"); $hj = QueryList::Query('http://mobile.csdn.net/',array("title"=>array('.unit h1','text'))); //dump($hj->data); $data = QueryList::Query('http://cms.querylist.cc/bizhi/453.html',array( 'image' => array('img','src') ))->data; // $data = QueryList::Query('http://cms.querylist.cc/google/list_1.html',array( 'link' => array('a','href') ))->data; $page = 'http://cms.querylist.cc/news/566.html'; $reg = array( 'title' => array('h1','text'), 'date' => array('.pt_info','text','-span -a',function($content){ $arr = explode(' ',$content); return $arr[0]; }), 'content' => array('.post_content','html','a -.content_copyright -script',function($content){ $doc = phpQuery::newDocumentHTML($content); $imgs = pq($doc)->find('img'); foreach ($imgs as $img) { $src = 'http://cms.querylist.cc'.pq($img)->attr('src'); $localSrc = 'w/'.md5($src).'.jpg'; $stream = file_get_contents($src); file_put_contents($localSrc,$stream); pq($img)->attr('src',$localSrc); } return $doc->htmlOuter(); }) ); $rang = '.content'; $ql = QueryList::Query($page,$reg,$rang); $data = $ql->getData(); dump($data);
支持抓取网站,进行爬虫,非常强大,是一个基于PHP的服务端开源项目,它可以让PHP开发人员轻松处理DOM文档内容,比如获取某新闻网站的头条信息。更有意思的是,它采用了jQuery的思想,你可以像使用jQuery一样处理页面内容,获取你想要的页面信息。
免责声明
本站所有资源均由网友贡献或各大下载网站转载。请自行检查软件的完整性!本站所有资源仅供学习参考。请不要将它们用于商业目的。否则,一切后果由您负责!如有侵权,请联系我们删除。联系方式:admin@php.cn
相关文章

24May2019
查看网站被百度抓取的情况的方法:通过分析网站日志中百度蜘蛛的活跃性、抓取频率、返回的HTTP状态码等来实现。还可以查看网站根目录下的日志文件,该文件记录了网站被访问和操作的情况。

17Nov2024
如何在 PHP 中实现 Web Scraper Web 抓取涉及三个步骤:向 URL 发送 GET 或 POST 请求。接收 HTML 响应。解析...


热工具

热门文章
刺客信条阴影:贝壳谜语解决方案
28Mar2025手游攻略
Windows 11 KB5054979中的新功能以及如何解决更新问题
03Apr2025故障排查
在哪里可以找到原子中的起重机控制钥匙卡
28Mar2025手游攻略
<🎜>:死铁路 - 如何完成所有挑战
26Mar2025手游攻略
如何修复KB5055523无法在Windows 11中安装?
10Apr2025故障排查