首页  >  文章  >  后端开发  >  使用phpspider爬虫的使用方法

使用phpspider爬虫的使用方法

小云云
小云云原创
2018-03-20 10:38:296956浏览

本文主要和大家分享使用phpspider爬虫的使用方法,使用python爬虫固然很方便,但是发现php在这方便也不弱;使用框架爬虫真的要高效许多。

1,先看下phpspider的结构


2,举例子:比如我爬取南昌新闻网的一个分类


这个注释要加上,不然报错,可以看看源码,源码里面有很多方法;

3,然后是配置下爬虫:



4,然后将配置文件放入框架类文件,实例化:

这里的 on_scan_page 是爬取的入口url,这些URL跟我配置的 content_url_regxes 正则规则匹配,所以在后面的爬取过程中,会爬取到这几个页面的数据


5,对匹配后的字段field进行回调处理:


6,进行爬取数据入库处理  , 跑起来


以上只是一个简单的例子,还可以进行多进程爬取,代理爬虫,很多好玩的。

相关推荐:

PHP网络爬虫之CURL详解

PHP如何实现爬虫

NodeJS爬虫详解

以上是使用phpspider爬虫的使用方法的详细内容。更多信息请关注PHP中文网其他相关文章!

声明:
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn