recherche

Maison  >  Article  >  développement back-end  >  Données d'insertion multi-processus PHP

Données d'insertion multi-processus PHP

巴扎黑
巴扎黑original
2018-05-26 09:45:023345parcourir

Dans la machine virtuelle centos7, monocœur, 1G de mémoire

/**
 * 模拟并发请求，10万次写入数据库
 * 拆分为10个进程，每个进程处理一万条插入
 */

$total = 10000;
$num   = 10;
$per   = $total/$num;

$sql  = '';
$child = '';

echo 'start '.microtime(true).PHP_EOL;
for($i = 1; $i<= $num; $i++)
{
    $pid = pcntl_fork();
    if($pid == -1) {
        die(&#39;fork error&#39;);
    }
    if($pid > 0) {
        //$id = pcntl_wait($status,WNOHANG);
        $child[] = $pid;
    } else if ($pid == 0) {
        $link  = mysqli_connect('localhost','root','root','yii2advanced');
        $start = ($i-1)*$per + 1;
        $end   = $start + $per;
        for($j = $start; $j< $end; $j++){
            $time = microtime(true);
            $sql = &#39;insert pcntl_test (rank,time) values (&#39;.$j.&#39;,&#39;.$time.&#39;)&#39;;
            mysqli_query($link,$sql);
        }
        mysqli_close($link);
        $id = getmypid();
        echo &#39;child &#39;.$id.&#39; finished &#39;.microtime(true).PHP_EOL;
        exit(0);
    }
}

while(count($child)){
    foreach($child as $k => $pid) {
        $res = pcntl_waitpid($pid, $status, WNOHANG);
        if ( -1 == $res || $res > 0) {
            unset($child[$k]);
        }
    }
}
echo 'end '.microtime(true).PHP_EOL;

Quand $total=10000, $num = 10 ; les résultats d'exécution sont les suivants :

start 1491903371.5548
child 19860 finished 1491903417.2113
child 19857 finished 1491903417.6909
child 19864 finished 1491903417.7793
child 19855 finished 1491903417.8695
child 19859 finished 1491903417.9162
child 19861 finished 1491903418.0089
child 19856 finished 1491903418.0532
child 19863 finished 1491903418.0842
child 19862 finished 1491903418.1474
child 19858 finished 1491903418.4341
end 1491903418.4424
总时间为46.88759994506836秒

Lorsque $total =10000, $num = 100, le résultat de l'exécution est le suivant : 

start 1491904334.1735
child 20085 finished 1491904337.0712
child 20086 finished 1491904337.144
……
child 20262 finished 1491904341.5602
child 20264 finished 1491904341.5803
end 1491904341.5869
总时间为7.413399934768677

Lorsque $total=10000, $num = 1000, le résultat de l'exécution est le suivant : 

start 1491904562.0166
child 20282 finished 1491904562.1191
child 20277 finished 1491904562.1268
child 20279 finished 1491904562.1352
...
child 21586 finished 1491904576.6954
child 21582 finished 1491904576.7024
child 21584 finished 1491904576.7226
end 1491904576.7297
总时间为14.71310019493103，相比100个子进程，耗时更长了。进程切换太多，影响了了效率应该是原因之一。

Lorsque $total =100 000, $num=100, 100 000 enregistrements, 100 processus insèrent 

start 1491905670.2652
child 21647 finished 1491905725.4382
child 21651 finished 1491905725.4595
child 21642 finished 1491905725.5402
....
child 21810 finished 1491905729.7709
child 21812 finished 1491905729.8498
child 21811 finished 1491905729.9612
end 1491905729.9679
总时间为59.70270013809204

Un seul processus insère 10 000 éléments de données, cela prend 18 secondes, contre 10 processus en insérant 10 000 enregistrements, moins de temps.
L'insertion de 100 000 enregistrements en un seul processus prend 187,40066790581, ce qui est relativement lent. Trois minutes. . .

Cependant, lorsque je lance 1 000 processus pour insérer 100 000 enregistrements, une erreur peut se produire dans environ 36 secondes si Mysqli_connection renvoie faux. Le nombre de connexions est-il limité ?

Fork 10 000 processus enfants et insérez 1 million de données. À ce stade, il y aura de nombreuses erreurs de connexion. Au final, cela a pris 360 secondes et 945 300 enregistrements ont été insérés dans le tableau de données, avec un taux de réussite de 94,53 %. Vérifiez donc les informations de configuration pertinentes de la base de données

mysql>  show global status like '%connect%';
+-----------------------------------------------+---------------------+
| Variable_name                                 | Value               |
+-----------------------------------------------+---------------------+
| Aborted_connects                              | 0                   |
| Connection_errors_accept                      | 0                   |
| Connection_errors_internal                    | 0                   |
| Connection_errors_max_connections             | 628                 |
| Connection_errors_peer_address                | 0                   |
| Connection_errors_select                      | 0                   |
| Connection_errors_tcpwrap                     | 0                   |
| Connections                                   | 16519               |
| Locked_connects                               | 0                   |
| Max_used_connections                          | 501                 |
| Max_used_connections_time                     | 2017-04-12 15:19:54 |
| Performance_schema_session_connect_attrs_lost | 0                   |
| Ssl_client_connects                           | 0                   |
| Ssl_connect_renegotiates                      | 0                   |
| Ssl_finished_connects                         | 0                   |
| Threads_connected                             | 4                   |
+-----------------------------------------------+---------------------+


mysql>  show global variables like '%connect%';
+-----------------------------------------------+--------------------+
| Variable_name                                 | Value              |
+-----------------------------------------------+--------------------+
| character_set_connection                      | utf8mb4            |
| collation_connection                          | utf8mb4_general_ci |
| connect_timeout                               | 10                 |
| disconnect_on_expired_password                | ON                 |
| init_connect                                  |                    |
| max_connect_errors                            | 100                |
| max_connections                               | 500                |
| max_user_connections                          | 0                  |
| performance_schema_session_connect_attrs_size | 512                |
+-----------------------------------------------+--------------------+

修改 myqsql 配置文件，/etc/my.cnf
把max_connections 改为10000，然后重启mysql
实际MySQL服务器允许的最大连接数16384；
结果然并卵，虚拟机好像挂了了。

Lorsque le taux de concurrence est important, le problème réside dans la connexion à MySQL.
Vous pouvez essayer de résoudre ce problème via un pool de connexions.

Dans la machine virtuelle centos7, monocœur, 1G de mémoire

/**
 * 模拟并发请求，10万次写入数据库
 * 拆分为10个进程，每个进程处理一万条插入
 */

$total = 10000;
$num   = 10;
$per   = $total/$num;

$sql  = '';
$child = '';

echo 'start '.microtime(true).PHP_EOL;
for($i = 1; $i<= $num; $i++)
{
    $pid = pcntl_fork();
    if($pid == -1) {
        die(&#39;fork error&#39;);
    }
    if($pid > 0) {
        //$id = pcntl_wait($status,WNOHANG);
        $child[] = $pid;
    } else if ($pid == 0) {
        $link  = mysqli_connect('localhost','root','root','yii2advanced');
        $start = ($i-1)*$per + 1;
        $end   = $start + $per;
        for($j = $start; $j< $end; $j++){
            $time = microtime(true);
            $sql = &#39;insert pcntl_test (rank,time) values (&#39;.$j.&#39;,&#39;.$time.&#39;)&#39;;
            mysqli_query($link,$sql);
        }
        mysqli_close($link);
        $id = getmypid();
        echo &#39;child &#39;.$id.&#39; finished &#39;.microtime(true).PHP_EOL;
        exit(0);
    }
}

while(count($child)){
    foreach($child as $k => $pid) {
        $res = pcntl_waitpid($pid, $status, WNOHANG);
        if ( -1 == $res || $res > 0) {
            unset($child[$k]);
        }
    }
}
echo 'end '.microtime(true).PHP_EOL;

Quand $total=10000, $num = 10 ; le résultat de l'exécution est le suivant :

start 1491903371.5548
child 19860 finished 1491903417.2113
child 19857 finished 1491903417.6909
child 19864 finished 1491903417.7793
child 19855 finished 1491903417.8695
child 19859 finished 1491903417.9162
child 19861 finished 1491903418.0089
child 19856 finished 1491903418.0532
child 19863 finished 1491903418.0842
child 19862 finished 1491903418.1474
child 19858 finished 1491903418.4341
end 1491903418.4424
总时间为46.88759994506836秒

Lorsque $total=10000, $num = 100, le résultat de l'exécution est le suivant : 

start 1491904334.1735
child 20085 finished 1491904337.0712
child 20086 finished 1491904337.144
……
child 20262 finished 1491904341.5602
child 20264 finished 1491904341.5803
end 1491904341.5869
总时间为7.413399934768677

Lorsque $total=10000, $num = 1000, le résultat de l'exécution est le suivant : 

start 1491904562.0166
child 20282 finished 1491904562.1191
child 20277 finished 1491904562.1268
child 20279 finished 1491904562.1352
...
child 21586 finished 1491904576.6954
child 21582 finished 1491904576.7024
child 21584 finished 1491904576.7226
end 1491904576.7297
总时间为14.71310019493103，相比100个子进程，耗时更长了。进程切换太多，影响了了效率应该是原因之一。

Lorsque $total=100 000, $num=100, 100 000 enregistrements, 100 processus insèrent 

start 1491905670.2652
child 21647 finished 1491905725.4382
child 21651 finished 1491905725.4595
child 21642 finished 1491905725.5402
....
child 21810 finished 1491905729.7709
child 21812 finished 1491905729.8498
child 21811 finished 1491905729.9612
end 1491905729.9679
总时间为59.70270013809204

Un seul processus insère 10 000 éléments de données, cela prend 18 secondes, contre 10 processus en insérant 10 000. En termes d'enregistrement, cela prend moins de temps.
L'insertion de 100 000 enregistrements en un seul processus prend 187,40066790581, ce qui est relativement lent. Trois minutes. . .

Cependant, lorsque je lance 1 000 processus pour insérer 100 000 enregistrements, une erreur peut se produire dans environ 36 secondes si Mysqli_connection renvoie faux. Le nombre de connexions est-il limité ?

Fork 10 000 processus enfants et insérez 1 million de données. À ce stade, il y aura de nombreuses erreurs de connexion. Au final, cela a pris 360 secondes et 945 300 enregistrements ont été insérés dans le tableau de données, avec un taux de réussite de 94,53 %. Vérifiez donc les informations de configuration pertinentes de la base de données

mysql>  show global status like '%connect%';
+-----------------------------------------------+---------------------+
| Variable_name                                 | Value               |
+-----------------------------------------------+---------------------+
| Aborted_connects                              | 0                   |
| Connection_errors_accept                      | 0                   |
| Connection_errors_internal                    | 0                   |
| Connection_errors_max_connections             | 628                 |
| Connection_errors_peer_address                | 0                   |
| Connection_errors_select                      | 0                   |
| Connection_errors_tcpwrap                     | 0                   |
| Connections                                   | 16519               |
| Locked_connects                               | 0                   |
| Max_used_connections                          | 501                 |
| Max_used_connections_time                     | 2017-04-12 15:19:54 |
| Performance_schema_session_connect_attrs_lost | 0                   |
| Ssl_client_connects                           | 0                   |
| Ssl_connect_renegotiates                      | 0                   |
| Ssl_finished_connects                         | 0                   |
| Threads_connected                             | 4                   |
+-----------------------------------------------+---------------------+


mysql>  show global variables like '%connect%';
+-----------------------------------------------+--------------------+
| Variable_name                                 | Value              |
+-----------------------------------------------+--------------------+
| character_set_connection                      | utf8mb4            |
| collation_connection                          | utf8mb4_general_ci |
| connect_timeout                               | 10                 |
| disconnect_on_expired_password                | ON                 |
| init_connect                                  |                    |
| max_connect_errors                            | 100                |
| max_connections                               | 500                |
| max_user_connections                          | 0                  |
| performance_schema_session_connect_attrs_size | 512                |
+-----------------------------------------------+--------------------+

修改 myqsql 配置文件，/etc/my.cnf
把max_connections 改为10000，然后重启mysql
实际MySQL服务器允许的最大连接数16384；
结果然并卵，虚拟机好像挂了了。

Lorsque le taux de concurrence est important, le problème réside dans la connexion à MySQL.
Vous pouvez essayer de résoudre ce problème via un pool de connexions.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

php mysql 并发 数据库
Déclaration：
Le contenu de cet article est volontairement contribué par les internautes et les droits d'auteur appartiennent à l'auteur original. Ce site n'assume aucune responsabilité légale correspondante. Si vous trouvez un contenu suspecté de plagiat ou de contrefaçon, veuillez contacter admin@php.cn
Article précédent：Série de démarrage de Laravel 5.4 : routage et vuesArticle suivant：Série de démarrage de Laravel 5.4 : routage et vues

Articles Liés

Voir plus