本文主要和大家分享使用phpspider爬虫的使用方法,使用python爬虫固然很方便,但是发现php在这方便也不弱;使用框架爬虫真的要高效许多。
1,先看下phpspider的结构
2,举例子:比如我爬取南昌新闻网的一个分类
这个注释要加上,不然报错,可以看看源码,源码里面有很多方法;
3,然后是配置下爬虫:
4,然后将配置文件放入框架类文件,实例化:
这里的 on_scan_page 是爬取的入口url,这些URL跟我配置的 content_url_regxes 正则规则匹配,所以在后面的爬取过程中,会爬取到这几个页面的数据
5,对匹配后的字段field进行回调处理:
6,进行爬取数据入库处理 , 跑起来
以上只是一个简单的例子,还可以进行多进程爬取,代理爬虫,很多好玩的。
相关推荐:
以上是使用phpspider爬虫的使用方法的详细内容。更多信息请关注PHP中文网其他相关文章!