Home > Article > Backend Development > 一个功能带来的高并发问题
有这样一个需求。用户想注册域名,但是呢,通常想的好的,都被人注册了。
这时候,程序自动的生成一定数量的域名,假设生成100个。然后在自动的查询
这100个域名是否被注册,从生成开始,域名就已经显示给了用户,然后
ajax来实时的更新每一个域名是否被注册的状态。
这时候,一个用户,就会带来100个并发查询,而且查域名状态,是需要连接whois服务器,有一个网络传输的过程
也就是这100个ajax查后台,就会带来100个php去发出whois的查询,等待结果,分析结果,返回给ajax调用
一般情况下,有几个用户同时一查。php的处理进程 就被占满了。整个站点的其他需要php实现都要处于等待状态了。。
这种情况下,要怎么优化呢?
我想的方案是:
1,将查询域名状态这事拿出去,放到另一个服务器上做。
2,查询域名状态不使用这种同步的方式,改用node.js这种异步模型的实现来做。
有这样一个需求。用户想注册域名,但是呢,通常想的好的,都被人注册了。
这时候,程序自动的生成一定数量的域名,假设生成100个。然后在自动的查询
这100个域名是否被注册,从生成开始,域名就已经显示给了用户,然后
ajax来实时的更新每一个域名是否被注册的状态。
这时候,一个用户,就会带来100个并发查询,而且查域名状态,是需要连接whois服务器,有一个网络传输的过程
也就是这100个ajax查后台,就会带来100个php去发出whois的查询,等待结果,分析结果,返回给ajax调用
一般情况下,有几个用户同时一查。php的处理进程 就被占满了。整个站点的其他需要php实现都要处于等待状态了。。
这种情况下,要怎么优化呢?
我想的方案是:
1,将查询域名状态这事拿出去,放到另一个服务器上做。
2,查询域名状态不使用这种同步的方式,改用node.js这种异步模型的实现来做。
nodejs暴力做是一种方法,另一种思路是做一个任务队列,控制总的并发量,比如最高并发50,然后每个用户查询的时候就push100个任务进队列,队列太长的时候可以告诉用户系统忙这样
不过无论如何做,首先要做的是把100个ajax改成1个……
你可以优化一下,不用每个用户都发送100个ajax请求,可以合并成一个ajax请求返回100个域名的状态。
php后端根据要查询的100个域名并发(批量)向whois服务器请求数据,并发的获取结果。
php并发(批量)http请求例子是这样的
<code><?php // 创建一对cURL资源 $ch1 = curl_init(); $ch2 = curl_init(); // 设置URL和相应的选项 curl_setopt($ch1, CURLOPT_URL, "http://whois.com/"); curl_setopt($ch1, CURLOPT_HEADER, 0); curl_setopt($ch2, CURLOPT_URL, "http://whois.com/"); curl_setopt($ch2, CURLOPT_HEADER, 0); // 创建批处理cURL句柄 $mh = curl_multi_init(); // 增加2个句柄 curl_multi_add_handle($mh,$ch1); curl_multi_add_handle($mh,$ch2); $active = null; // 执行批处理句柄 do { $mrc = curl_multi_exec($mh, $active); } while ($mrc == CURLM_CALL_MULTI_PERFORM); // 轮询Server返回的结果 while ($active && $mrc == CURLM_OK) { if (curl_multi_select($mh) != -1) { do { $mrc = curl_multi_exec($mh, $active); } while ($mrc == CURLM_CALL_MULTI_PERFORM); } } // 汇总结果...... // 关闭全部句柄 curl_multi_remove_handle($mh, $ch1); curl_multi_remove_handle($mh, $ch2); curl_multi_close($mh); </code></code>
这样能保证一个php进程并发的查询域名状态,而不是一个一个阻塞的去查,非常高效。设置超时时间,就不会导致进程因为网络io给阻塞占满了。
https://github.com/visionmedia/batch 根据你的实际情况调节下参数就行了。