go-zero を使用して分散タスクの分散とスケジューリングを実装する

インターネット ビジネスが急速に発展し、ビジネス量が徐々に増加しているため、1 台のサーバーで処理できるデータ量は需要を満たすには程遠いです。高同時実行性、高可用性、高パフォーマンスの要件を満たすために、時代の要求に応じて分散アーキテクチャが登場しました。

分散アーキテクチャでは、タスクの分散とスケジューリングは非常に重要なコンポーネントです。タスクの分散とスケジューリングの品質は、システム全体のパフォーマンスと安定性に直接影響します。ここでは、go-zero フレームワークを使用してタスクの分散分散とスケジューリングを実装する方法を紹介します。

1. タスクの分散分散

タスク分散とは、実行するタスクを異なるノードに割り当てることです。分散環境では、タスクの分散は通常、メッセージ キューを通じて実装されます。メッセージ キューは、高可用性、非同期、分離という特徴を備えており、タスク分散プロセスにおけるリスクと不確実性をうまく解決できます。

go-zero は、rabbitmq、kafka、およびその他のメッセージ キューのサポートを提供します。ここではrabbitmqを例に、分散タスク分散を実現するための使い方を紹介します。

1.1 Rabbitmq のインストール

まず、rabbitmq をインストールする必要があります。rabbitmq 公式 Web サイトのドキュメントを参照してインストールできます。インストールが完了したら、新しい仮想ホストとユーザーを作成し、権限を設定する必要があります。

# 创建 vhost
sudo rabbitmqctl add_vhost vhost-test

# 创建用户
sudo rabbitmqctl add_user user-test passwd-test

# 设置用户权限
sudo rabbitmqctl set_permissions -p vhost-test user-test ".*" ".*" ".*"

1.2 Rabbitmq の設定

次に、rabbitmq 関連の設定を設定ファイルに追加する必要があります。

[message]
    # 是否启用message
    enable = true
    # message类型，支持multi、nsq、kafka、rabbitmq
    type = "rabbitmq"
    # rabbitmq地址（IP:PORT）
    addr = "localhost:5672"
    # rabbitmq账号
    user = "user-test"
    # rabbitmq密码
    password = "passwd-test"
    # rabbitmq虚拟主机（默认值：/）
    virtualhost = "vhost-test"
    # 消息队列名称
    queue = "test-queue"

1.3 タスクの送信

Go-zero で, メッセージキューを介してタスクの分散を実現できます。メッセージ キューを介してメッセージを送信でき、メッセージのコンシューマはメッセージ キューからメッセージを取得し、対応するタスクを実行します。

ここでは、電子メールの送信を例として、タスクの送信方法を紹介します。

func sendMail(ctx context.Context, req *types.SendMailRequest) error {
    // 将任务转为消息发送到消息队列中
    return message.SendMessage(ctx, "test-queue", &types.SendMailRequest{
        Email: req.Email,
        Title: req.Title,
        Content: req.Content,
    })
}

この方法では、電子メール タスクをメッセージに変換し、メッセージをメッセージ キューに送信します。 SendMessage関数。

2. 分散タスク スケジューリング

分散タスク スケジューリングとは、タスクを異なるノードに割り当ててスケジュールすることです。分散環境では、タスクのスケジュール設定は通常、cron などのスケジュールされたタスク システムを通じて実行されます。

go-zero フレームワークは、タスクのスケジュール設定を容易にする cronexpr パッケージを提供します。 cronexpr パッケージを通じて cron 式を解析し、対応するタスクを実行できます。

2.1 タスクの追加

AddFunc、AddJob、およびその他の関数を使用して、スケジュールされたタスク システムにタスクを追加できます。たとえば、次のとおりです。

func startSchedule() {
    // 解析cron表达式，每天凌晨1点执行
    expr, err := cronexpr.Parse("0 0 1 * * *")
    if err != nil {
        log.Fatalf("failed to parse cron expression: %s", err.Error())
    }

    // 添加任务
    cron.Schedule(expr, cron.FuncJob(func() {
        // do something
    }))
}

この例では、初期のすべてのタスクを解析します。朝 1 時に cron 式が実行され、スケジュールされたタスク システムに FuncJob が追加されました。

2.2 タスクの実行

スケジュールされたタスク システムは、タスクに対応する関数を呼び出してタスクを実行します。対応する処理関数を記述することでタスクを処理できます。例:

func handleMailTask() {
    // 监听消息队列
    message.ReceiveMessage(context.Background(),"test-queue", func(ctx context.Context, data []byte) error {
        var req types.SendMailRequest
        // 解析消息
        if err := json.Unmarshal(data, &req); err != nil {
            return err
        }

        // 发送邮件
        if err := sendMail(context.Background(), &req); err != nil {
            log.Printf("failed to send mail of %s: %s", req.Email, err.Error())
        }

        return nil
    })
}

この処理関数では、メッセージ メッセージ キューをリッスンし、メッセージを取得し、タスクを解析します。次に、sendMail 関数を呼び出して電子メールを送信します。

3. 概要

この記事では、go-zero フレームワークを使用して分散タスクの分散とスケジューリングを実現する方法を紹介します。メッセージキューとスケジュールされたタスクシステムにより、タスクの分散とスケジューリングを簡単に実現し、システムのパフォーマンスと可用性を向上させることができます。

以上がgo-zero を使用して分散タスクの分散とスケジューリングを実装するの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。