在实际项目或者自己编写小工具(比如新闻聚合,商品价格监控,比价)的过程中, 通常需要从第3方网站或者API接口获取数据, 在需要处理1个URL队列时, 为了提高性能, 可以采用cURL提供的curl_multi_*族函数实现简单的并发。
本文将探讨两种具体的实现方法, 并对不同的方法做简单的性能对比.
1. 经典cURL并发机制及其存在的问题
经典的cURL实现机制在网上很容易找到, 比如参考PHP在线手册的如下实现方式:
复制代码 代码如下:
function
classic_curl($urls,
$delay)
{
$queue
= curl_multi_init();
$map
= array();
foreach
($urls
as
$url)
{
//
create cURL resources
$ch
= curl_init();
//
set URL and other appropriate options
curl_setopt($ch,
CURLOPT_URL, $url);
curl_setopt($ch,
CURLOPT_TIMEOUT, 1);
curl_setopt($ch,
CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch,
CURLOPT_HEADER, 0);
curl_setopt($ch,
CURLOPT_NOSIGNAL, true);
//
add handle
curl_multi_add_handle($queue,
$ch);
$map[$url]
= $ch;
}
$active
= null;
//
execute the handles
do
{
$mrc
= curl_multi_exec($queue,
$active);
}
while
($mrc
== CURLM_CALL_MULTI_PERFORM);
while
($active
> 0 && $mrc
== CURLM_OK) {
if
(curl_multi_select($queue,
0.5) != -1) {
do
{
$mrc
= curl_multi_exec($queue,
$active);
}
while
($mrc
== CURLM_CALL_MULTI_PERFORM);
}
}
$responses
= array();
foreach
($map
as
$url=>$ch)
{
$responses[$url]
= callback(curl_multi_getcontent($ch),
$delay);
curl_multi_remove_handle($queue,
$ch);
curl_close($ch);
}
curl_multi_close($queue);
return
$responses;
}
首先将所有的URL压入并发队列, 然后执行并发过程, 等待所有请求接收完之后进行数据的解析等后续处理. 在实际的处理过程中, 受网络传输的影响, 部分URL的内容会优先于其他URL返回, 但是经典cURL并发必须等待最慢的那个URL返回之后才开始处理, 等待也就意味着CPU的空闲和浪费. 如果URL队列很短, 这种空闲和浪费还处在可接受的范围, 但如果队列很长, 这种等待和浪费将变得不可接受.
2. 改进的Rolling cURL并发方式
仔细分析不难发现经典cURL并发还存在优化的空间, 优化的方式时当某个URL请求完毕之后尽可能快的去处理它, 边处理边等待其他的URL返回, 而不是等待那个最慢的接口返回之后才开始处理等工作, 从而避免CPU的空闲和浪费. 闲话不多说, 下面贴上具体的实现:
复制代码 代码如下:
function
rolling_curl($urls,
$delay)
{
$queue
= curl_multi_init();
$map
= array();
foreach
($urls
as
$url)
{
$ch
= curl_init();
curl_setopt($ch,
CURLOPT_URL, $url);
curl_setopt($ch,
CURLOPT_TIMEOUT, 1);
curl_setopt($ch,
CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch,
CURLOPT_HEADER, 0);
curl_setopt($ch,
CURLOPT_NOSIGNAL, true);
curl_multi_add_handle($queue,
$ch);
$map[(string)
$ch]
= $url;
}
$回复
= 数组();
做
{
同时
(($代码
=curl_multi_exec($queue,
$active))
== CURLM_CALL_MULTI_PERFORM) ;
如果
($代码
!= CURLM_OK) {break;
}
//
刚刚完成了一个请求 - 找出是哪个
同时
($完成
=curl_multi_info_read($queue))
{
//
获取请求返回的信息和内容
$信息
=curl_getinfo($done['handle']);
$错误
=curl_error($done['handle']);
$结果
=回调(curl_multi_getcontent($done['handle']),
$delay);
$responses[$map[(string)
$done['handle']]]
=紧凑('info',
'错误',
'结果');
//
移除刚刚完成的卷曲手柄
curl_multi_remove_handle($queue,
$done['handle']);
curl_close($done['handle']);
}
//
数据输入/输出块;错误处理由curl_multi_exec
如果
($活跃
> 0) {
curl_multi_select($queue,
0.5);
}
}
同时
($活跃);
curl_multi_close($queue);
返回
$回复;
}
3. 两种ARM实现的性能对比
改进了对称的性能对比试验在LINUX主机上进行,测试时使用的ARM队列如下:
http://a.com/item.htm?id=14392877692
http://a.com/item.htm?id=16231676302
http://a.com/item.htm? id=5522416710
http://a.com/item.htm?id=16551116403
简要说明下实验设计的原则和次性能测试结果的格式:为保证结果的可靠,每组实验重复20 ,在单次实验中,给定相同的接口URL集合,分别测量Classic(指经典的并发机制)和Rolling(指改进后的并发机制)双变量的运行(秒为单位)、运行短者胜出(优胜者),并计算节省的时间(Excellence,秒为单位)以及性能提升比例(Excel.%)。 为了尽量贴近真实的请求保持实验的简单,在对返回结果的处理上只是做了简单的正则表达式匹配,而不进行其他复杂的操作。 另外,确定结果处理回调对性能对比测试结果的影响,可以使用usleep模拟现实中比较负责的数据处理逻辑(如提取、分词、写入文件或数据库等)。
性能测试中占用的回调函数为:
复制代码代码如下:
function
回调($数据,
$延迟)
{
preg_match_all('/
(.)
/iU',$data,
$matches);
usleep($delay);
返回
紧凑('数据',
'匹配');
}
数据处理回调无延迟时:Rolling Curl略优,但性能提升效果不明显。

PHPSession失效的原因包括配置错误、Cookie问题和Session过期。1.配置错误:检查并设置正确的session.save_path。2.Cookie问题:确保Cookie设置正确。3.Session过期:调整session.gc_maxlifetime值以延长会话时间。

在PHP中调试会话问题的方法包括:1.检查会话是否正确启动;2.验证会话ID的传递;3.检查会话数据的存储和读取;4.查看服务器配置。通过输出会话ID和数据、查看会话文件内容等方法,可以有效诊断和解决会话相关的问题。

多次调用session_start()会导致警告信息和可能的数据覆盖。1)PHP会发出警告,提示session已启动。2)可能导致session数据意外覆盖。3)使用session_status()检查session状态,避免重复调用。

在PHP中配置会话生命周期可以通过设置session.gc_maxlifetime和session.cookie_lifetime来实现。1)session.gc_maxlifetime控制服务器端会话数据的存活时间,2)session.cookie_lifetime控制客户端cookie的生命周期,设置为0时cookie在浏览器关闭时过期。

使用数据库存储会话的主要优势包括持久性、可扩展性和安全性。1.持久性:即使服务器重启,会话数据也能保持不变。2.可扩展性:适用于分布式系统,确保会话数据在多服务器间同步。3.安全性:数据库提供加密存储,保护敏感信息。

在PHP中实现自定义会话处理可以通过实现SessionHandlerInterface接口来完成。具体步骤包括:1)创建实现SessionHandlerInterface的类,如CustomSessionHandler;2)重写接口中的方法(如open,close,read,write,destroy,gc)来定义会话数据的生命周期和存储方式;3)在PHP脚本中注册自定义会话处理器并启动会话。这样可以将数据存储在MySQL、Redis等介质中,提升性能、安全性和可扩展性。

SessionID是网络应用程序中用来跟踪用户会话状态的机制。1.它是一个随机生成的字符串,用于在用户与服务器之间的多次交互中保持用户的身份信息。2.服务器生成并通过cookie或URL参数发送给客户端,帮助在用户的多次请求中识别和关联这些请求。3.生成通常使用随机算法保证唯一性和不可预测性。4.在实际开发中,可以使用内存数据库如Redis来存储session数据,提升性能和安全性。

在无状态环境如API中管理会话可以通过使用JWT或cookies来实现。1.JWT适合无状态和可扩展性,但大数据时体积大。2.Cookies更传统且易实现,但需谨慎配置以确保安全性。


热AI工具

Undresser.AI Undress
人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover
用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool
免费脱衣服图片

Clothoff.io
AI脱衣机

Video Face Swap
使用我们完全免费的人工智能换脸工具轻松在任何视频中换脸!

热门文章

热工具

MinGW - 适用于 Windows 的极简 GNU
这个项目正在迁移到osdn.net/projects/mingw的过程中,你可以继续在那里关注我们。MinGW:GNU编译器集合(GCC)的本地Windows移植版本,可自由分发的导入库和用于构建本地Windows应用程序的头文件;包括对MSVC运行时的扩展,以支持C99功能。MinGW的所有软件都可以在64位Windows平台上运行。

ZendStudio 13.5.1 Mac
功能强大的PHP集成开发环境

VSCode Windows 64位 下载
微软推出的免费、功能强大的一款IDE编辑器

适用于 Eclipse 的 SAP NetWeaver 服务器适配器
将Eclipse与SAP NetWeaver应用服务器集成。

PhpStorm Mac 版本
最新(2018.2.1 )专业的PHP集成开发工具