PHP7-Produktionsumgebungswarteschlange Beanstalkd korrekte Verwendungslage

Anwendungsszenarien

Warum sollte ich es verwenden? Was sind die Vorteile? Dies sollte gleich zu Beginn gesagt werden, wenn Sie verstehen, was eine Sache tut und wofür sie geeignet ist. Wo auch immer Sie sie verwenden, werden Sie sie lernen Nachdem Sie es gelernt haben, bedeutet dies, dass Sie es normalerweise nicht wissen. Sie sollten mehr Fragen wie diese berücksichtigen: Welche Projektfunktionen können Sie erstellen, die mit der xx-Technologie kombiniert werden können? Ist diese xx-Technologie in diesem Geschäftsszenario realisierbar? Anstatt „Was kann ich tun, wenn ich diese XX-Technologie lerne? Das Unternehmen nutzt sie jetzt nicht, daher ist es nutzlos, wenn ich sie lerne.“ Mit einer solchen Stimmung muss es sehr schmerzhaft sein, die XX-Technologie zu lernen.

Jeder weiß, dass Warteschlangen nicht zuerst einige zeitaufwändige Vorgänge ausführen, sondern zuerst vergraben und dann asynchron verarbeitet werden. Auf diese Weise können Benutzer einige zeitaufwändige Vorgänge wie das Senden von E-Mails und Textnachrichten nicht spüren. Ja, da der Vergrabungspunkt vorbei ist, ist der Vorgang beendet und die Verbrauchswarteschlange ist vollständig auf dem Server erledigt. Es wird hauptsächlich für SMS- oder E-Mail-Benachrichtigungen, den Zugriff auf Schnittstellen von Drittanbietern zum Abonnieren von Nachrichten und einige Flash-Sales-Aktivitäten im Einkaufszentrum verwendet, die in Kombination mit Warteschlangen durchgeführt werden können.

Beanstalkd-Einführung

Beanstalkd ist eine leistungsstarke, leichte verteilte Speicherwarteschlange, C-Code, typisches Memcached-ähnliches Design, Protokoll und Verwendung. Der gleiche Stil Benutzer, die memcached verwendet haben, werden das Gefühl haben, dass Beanstalkd vertraut ist.

Die ursprüngliche Entwurfsabsicht von Beanstalkd besteht darin, zeitaufwändige Anforderungen asynchron auszuführen und Ergebnisse rechtzeitig zurückzugeben, um die Antwortverzögerung von Anforderungen bei stark gleichzeitigen Netzwerkanforderungen zu reduzieren.

Ubuntu-Installation

sudo apt-get install beanstalkd

Konfigurationsdatei

vim /etc/default/beanstalkd

Status anzeigen

service beanstalkd status
# 命令回显 #
root@:/www/server/php/72/etc# service beanstalkd status
● beanstalkd.service - Simple, fast work queue
   Loaded: loaded (/lib/systemd/system/beanstalkd.service; enabled; vendor preset: enabled)
   Active: active (running) since Tue 2018-10-16 10:42:28 CST; 6 days ago
     Docs: man:beanstalkd(1)
 Main PID: 7033 (beanstalkd)
    Tasks: 1 (limit: 4634)
   CGroup: /system.slice/beanstalkd.service
           └─7033 /usr/bin/beanstalkd -l 0.0.0.0 -p 11300 -b /var/lib/beanstalkd
Oct 16 10:42:28 ip-10-93-2-137 systemd[1]: Started Simple, fast work queue.

Konnektivität + Persistenz konfigurieren

IP verwendet 0.0.0.0, um alle Verbindungen zuzulassen, Sicherheitsgruppen oder Firewalls zu konfigurieren, um Verbindungen einzuschränken, und gibt den Parameter -b frei (standardmäßig keine Persistenz). Warteschlangennachrichten im Speicher können zur Persistenz im Binlog der Festplatte protokolliert werden, und die Warteschlangennachrichten können beim Ausschalten erneut gelesen werden.

vim /etc/default/beanstalkd
BEANSTALKD_LISTEN_ADDR=0.0.0.0
BEANSTALKD_LISTEN_PORT=11300
BEANSTALKD_EXTRA="-b /var/lib/beanstalkd"

Beanstalkd-Aufgabenstatus

状态	注释
delayed	延迟状态
ready	准备好状态
reserved	消费者把任务读出来，处理时
buried	预留状态
delete	删除状态

管理工具

亲测了很多网上能找到的 beanstalkd 工具，这两款是我最中意的了，一个命令行，一个 web 的。

命令行：https://github.com/src-d/beanstool

web 界面：https://github.com/ptrofimov/beanstalk_console

编程语言客户端

PHP 客户端

https://packagist.org/packages/pda/pheanstalk

composer require pda/pheanstalk

写入 job

<?php
//创建队列消息
require_once(&#39;./vendor/autoload.php&#39;);
use Pheanstalk\Pheanstalk;
$pheanstalk = new Pheanstalk(&#39;127.0.0.1&#39;,11300);
$tubeName = &#39;email_list&#39;;
$jobData = [
    &#39;email&#39; => &#39;123456@163.com&#39;,
    &#39;message&#39; => &#39;Hello World !!&#39;,
    &#39;dtime&#39; => date(&#39;Y-m-d H:i:s&#39;),
];
$pheanstalk->useTube( $tubeName)->put( json_encode( $jobData ) );

消费 job

<?php
ini_set(&#39;default_socket_timeout&#39;, 86400*7);
ini_set( &#39;memory_limit&#39;, &#39;256M&#39; );
// 消费队列消息
require_once(&#39;./vendor/autoload.php&#39;);
use Pheanstalk\Pheanstalk;
$pheanstalk = new Pheanstalk(&#39;127.0.0.1&#39;,11300);
$tubeName = &#39;email_list&#39;;
while ( true )
{
    // 获取队列信息, reserve 阻塞获取
    $job = $pheanstalk->watch( $tubeName )->ignore( &#39;default&#39; )->reserve();
    if ( $job !== false )
    {
        $data = $job->getData();
        /* TODO 逻辑操作 */
        /* 处理完成，删除 job */
        $pheanstalk->delete( $job );
    }
}

default_socket_timeout 这个参数是一定要加的，php 默认一般是 60s，假如您没有在代码里面设置，采用默认的话（60s），60s 之内如果没有 job 产生，脚本就会报 socket 错误，我写的是 7 天超时，您可以根据业务去调整，记住一定要配置，网上很多搜的 consumer 脚本都没有配置这个，根本不能投入生产环境使用，这是我亲自实践的结果。

　　关于 while true 是否死循环，很明确告诉你是死循环，但是不会一直耗性能的那样执行下去，它会在 reserve 这里阻塞不动，直到有消息产生才会往下走，所以大可放心使用，我的项目代码里面是使用了方法调用方法自身去实现循环的。

就是这样的代码，供参考：

    public function watchJob()
    {
        $job = $this->pheanstalk->watch( config( 'tube' ) )->ignore( 'default' )->reserve();
        if ( $job !== false )
        {
            $job_data = $job->getData();
            $this->subscribe( $job_data );
            $this->pheanstalk->delete( $job );
            /* 继续 Watch 下一个 job */
            $this->watchJob();
        }
        else
        {
            $this->log->error( 'reserve false', 'reserve false' );
        }
    }

监控 beanstalkd 状态

<?php
//监控服务状态
require_once(&#39;./vendor/autoload.php&#39;);
use Pheanstalk\Pheanstalk;
$pheanstalk = new Pheanstalk(&#39;127.0.0.1&#39;,11300);
$isAlive = $pheanstalk->getConnection()->isServiceListening();
var_dump( $isAlive );

可以配合 email 做一个报警邮件，脚本每分钟去执行，判断状态是 false，就给管理员发送邮件报警。

一些相关命令

查看 beanstalkd 服务内存占用

top -u beanstalkd

后台运行 consumer 脚本

nohup php googlehome_subscribe.php &

查看 consumer 脚本运行时间

ps -A -opid,stime,etime,args | grep consumer.php

手工重启 consumer 脚本

ps auxf|grep 'googlehome_subscribe.php'|grep -v grep|awk '{print $2}'|xargs kill -9 
nohup php googlehome_subscribe.php &

一些总结

　　php 要把错误日志打开，方便收集 consumer 脚本 crash 的 log，脚本跑出一些致命的 error 一定要及时修复，因为一旦有错就会挂掉，这会影响你脚本的可用性，后期稳定之后可以上 supervisor 这种进程管理程序来管控脚本生命周期。

　　一些网络请求操作，一定要 try catch 到所有错误，一旦没有 catch 到，脚本就崩。我用的是 Guzzle 去做的网络请求，下面是我 catch 的一些错误，代码片段供参考。

try
{
    /* TODO: 逻辑操作 */
}
catch ( ClientException $e )
{
    $results['mid']    = $this->mid;
    $results['code']   = $e->getResponse()->getStatusCode();
    $results['reason'] = $e->getResponse()->getReasonPhrase();
    $this->log->error( 'properties-changed ClientException', $results );
}
catch ( ServerException $e )
{
    $results['mid']    = $this->mid;
    $results['code']   = $e->getResponse()->getStatusCode();
    $results['reason'] = $e->getResponse()->getReasonPhrase();
    $this->log->error( 'properties-changed ServerException', $results );
}
catch ( ConnectException $e )
{
    $results['mid'] = $this->mid;
    $this->log->error( 'properties-changed ConnectException', $results );
}

　　job 消费之后一定要删除掉，如果长时间不删除，php 客户端会有 false 返回，是因为有 DEADLINE_SOON 这个超时错误产生，所以处理完任务，一定要记得删除，这一点跟 kafka 不一样，beanstalkd 需要开发者自己去删除 job。

推荐教程：《PHP教程》

Das obige ist der detaillierte Inhalt vonPHP7-Produktionsumgebungswarteschlange Beanstalkd korrekte Verwendungslage. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!