QueryList采集器开发手册

浏览24815
更新时间2022-04-11

经过不断的迭代,PHP采集利器QueryList迎来了QueryList3!

下面来看看QueryList3有何改变吧:
1.调整参数,不再兼容以前版本
2.使用psr-4
3.使用composer
4.更改属性名jsonArr为data
5.废弃getJson方法
6.加入getData、getHtml、getInstance以及run方法
7.加入扩展功能,通过扩展可以实现多线程批量采集,模拟登陆采集等功能,让QueryList变得无限可能。
8.改进还有诸如:进一步降低了乱码出现的几率、增强了内置的源码抓取方法、实现无限级别嵌套采集等。

现介绍已有的示例扩展:
   1.Request扩展,可以实现如携带cookie、伪造来路等任意复杂的网络请求,再也不用担心QueryList内置的抓取功能太弱了。
   2.Login扩展,可以实现模拟登陆然后采集。
   3.Multi扩展,多线程(多进程)采集扩展。
扩展通过QueryList::run 方法运行。

使用Composer安装(当然也可以不使用这种方式):

QueryList以及其依赖:
composer require jaeger/querylist

QueryList扩展需要选择性的单独安装:

Request网络操作扩展:
composer require jaeger/querylist-ext-request

Multi多线程扩展:
composer require jaeger/querylist-ext-multi

Login模拟登陆扩展:
composer require jaeger/querylist-ext-login

包含QueyListy以及扩展的完整配置如下:

{
    "require": {
        "jaeger/querylist": "^3.1",
        "jaeger/querylist-ext-request":"^1.0",
        "jaeger/querylist-ext-multi":"^1.0",
        "jaeger/querylist-ext-login":"^1.0"
    }
}

以下类库是上面扩展的依赖,安装扩展的时候会自动安装,也可以选择单独引入使用:

Http类:
composer require jaeger/http

CurlMulti多线程类:
composer require jaeger/curlmulti

相关视频

更多

免费

php8,我来也
初级php8,我来也

33.5万次学习

收藏

免费

Thinkphp6.0正式版视频教程
中级Thinkphp6.0正式版视频教程

39.2万次学习

收藏

免费

细说PHP第一季
中级细说PHP第一季

30.3万次学习

收藏

精品课程

更多
前端入门_HTML5
前端入门_HTML5

共29课时

64.4万人学习

CSS视频教程-玉女心经版
CSS视频教程-玉女心经版

共25课时

40.9万人学习

JavaScript极速入门_玉女心经系列
JavaScript极速入门_玉女心经系列

共43课时

76万人学习

独孤九贱(1)_HTML5视频教程
独孤九贱(1)_HTML5视频教程

共25课时

63.7万人学习

独孤九贱(2)_CSS视频教程
独孤九贱(2)_CSS视频教程

共22课时

24.1万人学习

独孤九贱(3)_JavaScript视频教程
独孤九贱(3)_JavaScript视频教程

共28课时

35.8万人学习

独孤九贱(4)_PHP视频教程
独孤九贱(4)_PHP视频教程

共89课时

131.8万人学习

热门下载

更多
phpStudy 2018最新版
phpStudy 2018最新版

集成PHP7,16种组合,超全大合集

下载

VC9 32位
VC9 32位

VC9 32位 phpstudy集成安装环境运行库

下载

VC11 32位
VC11 32位

VC11 32位 phpstudy集成安装环境运行库​

下载

php程序员工具箱完整版
php程序员工具箱完整版

程序员工具箱 v1.0 php集成环境

下载

VC14 32位
VC14 32位

VC14 32位 phpstudy安装环境运行库

下载

SublimeText3汉化版
SublimeText3汉化版

中文版,非常好用

下载

Notepad++ Windows版
Notepad++ Windows版

Notepad++ 8.9.7 Windows版官方安装包,适合 Windows 用户进行代码编辑、文本处理、语法高亮和插件扩展配置。

下载