python - celery工作流的问题

Question

celery中,我做这样的处理:
一个url经过a, b, c三个的函数,分别获得返回值,其中任意函数结果均与任意其他函数结果不相关,然后汇总起来,交给之后的流程.这样,我自然想到并行运行三个函数来加快处理速度.
然而由于一开始的设计问题, a函数式被设计成了一次可以处理多个url的形式,而一个一个的处理会非常慢.

@celery.task
def a(url_list):
    '...do something...'
    for url in url_list:
        b.delay(url)

我尝试这样控制,然而任务似乎并不能嵌套.
那么,如何设计可以比较好的满足我这种比较奇怪的流程和要求呢?

Answer 1

A; b; c を 3 つのタスクに分割して書き込み、同時に 3 つのタスクの実行ステータスを表すステータス値をデータベースに保存する必要があります。値を変更し、他の 2 つをチェックする必要があります。各タスクが完了したかどうかを確認します。すべて完了した場合は、タスクの結果が要約されて処理されます。

Answer 2

@xiaoboost 手動メンテナンスも可能ですが、少し時間がかかります。

Celery は実行プロセスを設計できます。ドキュメントを参照してください: Designing Work-flows
被験者のニーズはコードで解決でき、値は celery タスクで返すことができます。

ところで: Celery 設定の戻り値に関連するいくつかのオプション (この task_ignore_result など) に注意してください