Swoole의 프로세스 소개
- coldplay.xixi앞으로
- 2021-03-01 10:13:232367검색
추천(무료): swoole
원래는 Swoft 프레임워크에서 Process 모듈을 개발할 계획이었으므로 Swoole의 Process 모듈에 대한 더 깊은 이해가 필요합니다. swoole 공식 위키의 과정에서 항상 이해되지 않는 부분이 있습니다. 이전에 다중 프로세스 프로그래밍을 여러 번 했지만 프레임워크 개발이 꼭 필요할 때 배운 지식을 알게 될 것입니다. before는 전체 디자인을 안내할 만큼 포괄적이지 않습니다. 다행히도 인내심을 갖고 지금의 이해 수준은 다음과 같습니다.
프로세스 관련 고급 작업: 메인 프로세스가 종료되고 하위 프로세스가 작업을 완료합니다. 하위 프로세스가 비정상적으로 종료되고 메인 프로세스가 자동으로 다시 시작됩니다.
- 프로세스 간 통신(IPC) - 파이프(파이프)
- Inter -프로세스 통신(IPC) - 메시지 큐(메시지 큐)
- Swoole 프로세스 모듈에서 제공하는 추가 기능
- 프로세스와 관련된 기본 작업
프로세스란 무엇입니까? 프로세스는 러너의 프로그램입니다
가장 간단한 예를 먼저 살펴보겠습니다.프로세스 이름이 설정되지 않았습니다프로세스 이름이 설정되었습니다<?phpecho posix_getpid(); // 获取当前进程的 pidswoole_set_process_name('swoole process master'); // 修改所在进程的进程名sleep(100); // 模拟一个持续运行 100s 的程序, 这样就可以在进程中查看到它, 而不是运行完了就结束
ps aux를 통해 프로세스 보기:
ps aux 查看进程:
未设置进程名
设置进程名
再来看看 swoole 中使用子进程的基础操作:
use Swoole\Process;
$process = new Process(function (Process $worker) { if (Process::kill($worker->pid, 0)) { // kill操作常用来杀死进程, 传入 0 可以用来检测进程是否存在
$worker->exit(); // 退出子进程
}
});
$process->start(); // 启动子进程Process::wait(); // 回收退出的子进程new Process(): 通过回调函数来设置子进程将要执行的逻辑$process->start(): 调用fork()系统调用, 来生成子进程Process::kill(): kill操作给进程发送信号, 常用来杀死进程, 传入 0 可以用来检测进程是否存在Process::wait(): 调用wait()系统调用, 回收子进程, 如果不回收, 子进程会编程 僵尸进程, 浪费系统资源$worker->exit(): 子进程主动退出
我在这里有一个疑问:
主进程的生命周期是怎么样的? 子进程的生命周期是怎么样的?
有这样一个疑问也来自于我之前的思维惯性: 理解一个事物时从事物的生命周期进行理解. 结合 进程是运行着的程序 来一起理解:
-
new Process(): 只有回调函数的逻辑会在进程中执行 - 除此之外的代码都是在主进程中执行
进程相关高级操作
- 主进程退出子进程干完活后也退出
- 子进程异常退出主进程自动重启
<?phpuse Swoole\Process;class MyProcess1{ public $mpid = 0; // master pid, 即当前程序的进程ID
public $works = []; // 记录子进程的 pid
public $maxProcessNum = 1; public $newIndex = 0; public function __construct()
{ try {
swoole_set_process_name(__CLASS__. ' : master'); $this->mpid = posix_getpid(); $this->run(); $this->processWait();
} catch (\Exception $e) { die('Error: '. $e->getMessage());
}
} public function run()
{ for ($i=0; $i<$this->maxProcessNum; $i++) { $this->createProcess();
}
} public function createProcess($index = null)
{ if (is_null($index)) {
$index = $this->newIndex; $this->newIndex++;
}
$process = new Process(function (Process $worker) use($index) { // 子进程创建后需要执行的函数
swoole_set_process_name(__CLASS__. ": worker $index"); for ($j=0; $j<3; $j++) { // 模拟子进程执行耗时任务
$this->checkMpid($worker); echo "msg: {$j}\n";
sleep(1);
}
}, false, false); // 不重定向输入输出; 不使用管道
$pid = $process->start(); $this->works[$index] = $pid; return $pid;
} // 主进程异常退出, 子进程工作完后退出
public function checkMpid(Process $worker) // demo中使用的引用, 引用表示传的参数可以被改变, 由于传入 $worker 是 \Swoole\Process 对象, 所以不用使用 & { if (!Process::kill($this->mpid, 0)) { // 0 可以用来检测进程是否存在
$worker->exit();
$msg = "master process exited, worker {$worker->pid} also quit\n"; // 需要写入到日志中
file_put_contents('process.log', $msg, FILE_APPEND); // todo: 这句话没有执行
}
} // 重启子进程
public function rebootProcess($pid)
{
$index = array_search($pid, $this->works); if ($index !== false) {
$newPid = $this->createProcess($index); echo "rebootProcess: {$index}={$pid}->{$newPid} Done\n"; return;
} throw new \Exception("rebootProcess error: no pid {$pid}");
} // 自动重启子进程
public function processWait()
{ while (1) { if (count($this->works)) {
$ret = Process::wait(); // 子进程退出
if ($ret) { $this->rebootProcess($ret['pid']);
}
} else { break;
}
}
}
}new MyProcess1();说明以下几点:
- 子进程运行结束后就会退出, 通过
Process::wait()检测到子进程退出信号执行自动重启, 子进程就会一直执行下去 - 关于函数参数传 引用/指针, 一个很好的理解方式是: 参数可以被修改
运行并模拟主进程异常退出:
模拟主进程异常退出
输出
进程间通信(IPC) - 管道(pipe)
管道的几个关键词:
- 半双工: 数据单向流动, 一端只读, 一端只写.
- 同步 vs 异步: 默认为同步阻塞模式, 可以使用
swoole_event_add()添加管道到 swoole 的 event loop 中, 实现异步IO - 管道类型(数据格式):
SOCK_STREAM, 流式, 需要用户自己处理数据的封包/解包;SOCK_DGRAM, 数据报, 每次收发都是一次完整的数据包 (DGRAM/STREAM)
注意, swoole wiki - process->write() 中提到 SOCK_DGRAM 并不会乱序丢包
先来看一个简单的例子, php从shell管道中读取数据:
// get pip data$fp = fopen('php://stdin', 'r');if ($fp) { while ($line = fgets($fp, 4096)) { echo "php get pip data: ". $line;
}
fclose($fp);
}从shell管道读取数据
swoole process中的管道很强大, 支持 子进程写, 主进程读 以及 主进程写, 子进程读:
use Swoole\Process;// 子进程写, 父进程读$process = new Process(function (Process $worker) {
$worker->write("worker");
});
$process->start();
$msg = $process->read();echo "from process: $msg", "\n";// 父进程写, 子进程读$process = new Process(function (Process $worker) {
$msg = $worker->read(); echo "from master: $msg", "\n";
});
$process->start();
$process->write('master');使用管道多次读写
注意区分 $worker->write() 和 $process->write(), 之前一直错误的以为这 2 个是相同的, 其实就是把 $process 误以为是子进程, 从而相当于 $process->write()다음을 살펴보겠습니다. swoole에서 하위 프로세스를 사용하는 기본 작업:
use Swoole\Process;use Swoole\Event;// 异步IO$process = new Process(function (Process $worker) {
$GLOBALS['worker'] = $worker;
Event::add($worker->pipe, function (int $pipe) { // 使用 swoole_event_add 添加管道到异步IO
/** @var Process $worker */
$worker = $GLOBALS['worker'];
$msg = $worker->read(); echo "from master: $msg \n";
$worker->write("hello master");
sleep(2);
$worker->exit(0);
});
});
$process->start();
$process->write("master msg 1");
$msg = $process->read();echo "from process: $msg \n";
new Process(): 콜백 함수를 통해 실행할 하위 프로세스를 설정합니다. $process-> start(): fork() 시스템 호출을 호출하여 하위 프로세스를 생성합니다
-
Process:: kill(): 종료 작업은 프로세스에 신호를 보내는 데 자주 사용됩니다. 0을 전달하면 프로세스가 존재하는지 감지하는 데 사용할 수 있습니다
Process::wait(): wait( ) 하위 프로세스를 재활용하기 위한 시스템 호출입니다. 재활용하지 않으면 하위 프로세스가 좀비 프로세스🎜로 프로그래밍되어 시스템 리소스가 낭비됩니다🎜🎜🎜🎜$worker->exit() code >: 자식 프로세스가 활발하게 종료됩니다🎜🎜🎜🎜여기에 질문이 있습니다:🎜🎜🎜메인 프로세스의 수명주기는 무엇입니까? 자식 프로세스의 수명주기는 무엇입니까?🎜🎜🎜비교에서도 이러한 질문이 나옵니다. 나의 이전 사고 습관: 🎜사물을 이해할 때는 사물의 수명주기에서 이해하세요🎜. 🎜프로세스는 실행 중인 프로그램🎜과 결합하여 함께 이해합니다:🎜🎜🎜new Process(): only 콜백 함수의 로직은 프로세스에서 실행됩니다🎜🎜다른 코드는 메인 프로세스에서 실행됩니다🎜🎜🎜🎜 고급 프로세스 관련 작업🎜🎜🎜🎜메인 프로세스가 종료되고 종료 후 하위 프로세스도 종료됩니다 해당 작업🎜🎜 프로세스가 비정상적으로 종료되고 기본 프로세스가 자동으로 다시 시작됩니다🎜🎜use Swoole\Process;// 设置管道超时$process = new Process(function (Process $worker) {
sleep(5);
});
$process->start();
$process->setTimeout(0.5);
$ret = $process->read();
var_dump($ret);
var_dump(swoole_errno());🎜다음 사항을 설명하세요.🎜🎜🎜 하위 프로세스는 실행 후 종료됩니다. 하위 프로세스 종료 신호는 Process::wait( ) 실행이 자동으로 실행되고 다시 시작하면 하위 프로세스가 계속 실행됩니다🎜🎜함수 매개변수 전송🎜참조/포인터🎜에 대해 이해하는 좋은 방법은 다음과 같습니다. 🎜매개변수는 수정될 수 있습니다🎜🎜🎜🎜실행 그리고 메인 프로세스를 비정상적으로 종료하도록 시뮬레이션하십시오:🎜🎜메인 프로세스를 시뮬레이션하십시오. 프로세스가 비정상적으로 종료되었습니다🎜🎜Output🎜🎜🎜프로세스 간 통신(IPC) - 파이프🎜🎜🎜파이프의 일부 키워드:🎜🎜🎜반이중: 단방향 데이터 흐름, 한쪽 끝은 읽기 전용이고 다른 쪽 끝은 쓰기 전용입니다. 🎜🎜동기식 대 비동기식: 기본값은 swoole_event_add()를 사용하여 수행할 수 있습니다. 비동기 IO🎜🎜파이프 유형(데이터 형식)을 구현하기 위해 swoole의 이벤트 루프에 파이프를 추가합니다: SOCK_STREAM, 스트리밍, 사용자가 직접 <code>SOCK_DGRAM, 데이터그램, 각각의 전송 및 수신은 완전한 데이터 패킷입니다(<code>DGRAM/STREAM)🎜🎜🎜Swoole wiki - process->write()에서 SOCK_DGRAM을 언급합니다. code>는 순서가 잘못된 패킷을 잃지 않습니다🎜🎜먼저 간단한 예를 살펴보겠습니다. 셸 파이프라인의 PHP 데이터 읽기:🎜// 关闭管道: 默认值0->关闭读写 1->关闭写 2->关闭读$process->close();
🎜셸 파이프에서 데이터 읽기🎜🎜Swoole 프로세스의 파이프는 매우 강력하며 🎜sub- 프로세스 쓰기, 메인 프로세스 읽기🎜 및 🎜메인 프로세스 쓰기, 하위 프로세스 읽기🎜:🎜use Swoole\Process;
$process = new Process(function (Process $worker) { // $worker->push('worker');
echo "from master: ". $worker->pop(). "\n";
sleep(2); // $worker->exit();}, false, false); // 关闭管道// 参数一为 msgKey, 这里是默认值// 参数二为 通信模式, 默认值 2 表示争抢模式, 这里还加上了 非阻塞$process->useQueue(ftok(__FILE__, 1), 2| Process::IPC_NOWAIT);
$process->push('hello1'); // 使用 useQueue 后, 主进程就可以读写消息队列了$process->push('hello2');echo "from woker: ". $process->pop(). "\n";// echo "from woker: ". $process->pop(). "\n";$process->start(); // 启动子进程// 消息队列状态var_dump($process->statQueue());// 删除队列, 如果不调用则不会在程序结束时清楚数据, 下次使用相同 msgKey 时还可以访问数据$process->freeQueue();
var_dump(Process::wait()); // 要调用 wait(), 否则子进程中 push()/pop() 会报错🎜파이프를 더 많이 사용하고 읽기 및 쓰기 시간🎜🎜 $worker->write()를 구별하는 데 주의하세요. > 및 $process->write(). 이 둘이 동일하다고 잘못 생각했습니다. 실제로는 $process를 하위 프로세스로 착각했습니다. 하위 프로세스 작성 파이프인 $process->write()와 동일합니다. 실제로 이는 기본 프로세스 내에 있습니다. 실행 논리는 기본 프로세스가 하위 프로세스의 파이프에 데이터를 쓰는 것입니다. 🎜🎜swoole의 기타 파이프 관련 작업을 읽는 프로세스: 🎜🎜🎜Asynchronous IO🎜🎜// 比如 python test.py 123swoole_process->exec('/usr/bin/python', ['test.py', 123]);// 更复杂的例子swoole_process->exec(('/usr/local/bin/php', ['/var/www/project/yii-best-practice/cli/yii', 't/index', '-m=123', 'abc', 'xyz']);// 父进程 exec 进程进行管道通信use Swoole\Process;
$process = new Process(function (Process $worker) {
$worker->exec('/bin/echo', ['hello']);
$worker->write('hello');
}, true); // 需要启用标准输入输出重定向$process->start();echo "from exec: ". $process->read(). "\n";🎜Asynchronous IO🎜🎜🎜Set timeout🎜🎜use Swoole\Process;// 异步信号监听 + waitProcess::signal(SIGCHLD, function ($signal) { // 监听子进程退出信号
// 可能同时有多个子进程退出, 所以要while循环
while ($ret = Process::wait(false)) { // false 表示不阻塞
var_dump($ret);
}
});🎜Pipeline timeout🎜插播一个趣事, @thinkpc 看完 2017北京PHP开发者年会, 就知道为啥会点赞了
- 关闭管道
// 关闭管道: 默认值0->关闭读写 1->关闭写 2->关闭读$process->close();
进程间通信(IPC) - 消息队列(message queue)
消息队列:
- 一系列保存在内核中的消息链表
- 有一个 msgKey, 可以通过此访问不同的消息队列
- 有数据大小限制, 默认 8192, 可以通过内核修改
- 阻塞 vs 非阻塞: 阻塞模式下
pop()空消息队列/push()满消息队列会阻塞, 非阻塞模式可以直接返回
swoole 中使用消息队列:
- 通信模式: 默认为争抢模式, 无法将消息投递给指定子进程
- 新建消息队列后, 主进程就可以使用
- 消息队列不可和管道一起使用, 也无法使用 swoole event loop
- 主进程中要调用
wait(), 否则子进程中调用 pop()/push() 会报错
use Swoole\Process;
$process = new Process(function (Process $worker) { // $worker->push('worker');
echo "from master: ". $worker->pop(). "\n";
sleep(2); // $worker->exit();}, false, false); // 关闭管道// 参数一为 msgKey, 这里是默认值// 参数二为 通信模式, 默认值 2 表示争抢模式, 这里还加上了 非阻塞$process->useQueue(ftok(__FILE__, 1), 2| Process::IPC_NOWAIT);
$process->push('hello1'); // 使用 useQueue 后, 主进程就可以读写消息队列了$process->push('hello2');echo "from woker: ". $process->pop(). "\n";// echo "from woker: ". $process->pop(). "\n";$process->start(); // 启动子进程// 消息队列状态var_dump($process->statQueue());// 删除队列, 如果不调用则不会在程序结束时清楚数据, 下次使用相同 msgKey 时还可以访问数据$process->freeQueue();
var_dump(Process::wait()); // 要调用 wait(), 否则子进程中 push()/pop() 会报错消息队列
swoole process 模块提供的更多功能
swoole_set_process_name(): 修改进程名, 不兼容 mac
swoole_process->exec(string $execfile, array $args) 执行外部程序
参数 $execfile 需要使用可执行文件的绝对路径, 参数 args 为参数数组
// 比如 python test.py 123swoole_process->exec('/usr/bin/python', ['test.py', 123]);// 更复杂的例子swoole_process->exec(('/usr/local/bin/php', ['/var/www/project/yii-best-practice/cli/yii', 't/index', '-m=123', 'abc', 'xyz']);// 父进程 exec 进程进行管道通信use Swoole\Process;
$process = new Process(function (Process $worker) {
$worker->exec('/bin/echo', ['hello']);
$worker->write('hello');
}, true); // 需要启用标准输入输出重定向$process->start();echo "from exec: ". $process->read(). "\n";父进程与exec进程通过管道通信
\Swoole\Process::kill($pid, $signo = SIGTERM): 向指定进程发送信号, 默认是终止进程, 传 0 可检测进程是否存在
\Swoole\Process::wait(): 回收子进程, 如果主进程不调用此方法, 子进程会变成 僵尸进程, 浪费系统资源
\Swoole\Process::signal(): 异步信号监听
use Swoole\Process;// 异步信号监听 + waitProcess::signal(SIGCHLD, function ($signal) { // 监听子进程退出信号
// 可能同时有多个子进程退出, 所以要while循环
while ($ret = Process::wait(false)) { // false 表示不阻塞
var_dump($ret);
}
});\Swoole\Process::daemon(): 将当前进程变为一个守护进程
use Swoole\Process;// daemonProcess::daemon();
swoole_set_process_name('test daemon process');
sleep(100);
daemon-守护进程
-
\Swoole\Process::alarm(): 高精度定时器(微秒级), 对 setitimer 系统调用的封装, 可以配合 \Swoole\Process::signal() / pcntl_signal 使用
注意不可和 \Swoole\Timer 同时使用
// signal + alarm// 第一个参数表示时间, 单位 us, -1 表示清除定时器// 第二个参数表示类型 0->真实时间->SIGALAM 1->cpu时间->SIGVTALAM 2->用户态+内核态时间->SIGPROFProcess::alarm(100*1000); // 100msProcess::signal(SIGALRM, function ($signal) { static $i = 0; echo "#$i \t alarm \n";
$i++; if ($i>20) {
Process::alarm(-1); // -1 表示清除
}
});alarm
-
\Swoole\Process::setaffinity(): 设置CPU亲和, 即将进程绑定到指定CPU核上
传值范围: [0, swoole_cpu_num())
CPU亲和: CPU的速度远远高于IO的速度, 所以CPU有多级缓存来解决IO等待的问题, 绑定指定CPU, 更容易命中CPU缓存
写在最后
资源推荐:
- 图灵社区 - 理解UNIX进程 + 「理解Unix进程」读书笔记
- blog - 「进程」编程
todo:
- 使用输入输出重定向
- 管道类型为
SOCK_STREAM 时的情况, 是否需要 封包/解包 处理, 即 swoole wiki - process->write() 中提到的 管道通信默认的方式是流式，write写入的数据在read可能会被底层合并
- 多进程 + 异步IO 的注意事项
能理解 因为子进程会继承父进程的内存和IO句柄 这个会产生的影响, 但是给的示例并没有说明这个问题
use Swoole\Process;use Swoole\Event;// 多个子进程 + 异步IO$workers = [];
$workerNum = 3;for ($i=0; $i<$workerNum; $i++) {
$process = new Process(function (Process $worker) {
$worker->write($worker->pid); echo "worker: {$worker->pid} \n";
});
$pid = $process->start();
$workers[$pid] = $process; // Event::add($process->pipe, function (int $pipe) use ($process) {
// $data = $process->read();
// echo "recv: $data \n";
// });}foreach ($workers as $worker) {
Event::add($worker->pipe, function (int $pipe) use ($worker) {
$data = $worker->read(); echo "recv: $data \n";
});
}多进程异步IO
위 내용은 Swoole의 프로세스 소개의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
성명：
이 기사는 csdn.net에서 복제됩니다. 침해가 있는 경우 admin@php.cn으로 문의하시기 바랍니다. 삭제