Maison >développement back-end >Tutoriel Python >Apprenez Python Celery et effectuez facilement des tâches asynchrones
Bien que les applications Web modernes soient plus rapides et plus pratiques que jamais, il existe encore de nombreuses situations dans lesquelles des tâches lourdes doivent être déléguées à d'autres parties du système au lieu de travailler sur le thread principal.
Des exemples de ces situations sont les suivants :
Alors, comment gérer ces situations ? À cette époque, le céleri est utile.
Celery est une implémentation de file d'attente de tâches open source, souvent combinée avec des frameworks Web basés sur Python tels que Flask et Django, pour exécuter des tâches de manière asynchrone en dehors du cycle requête-réponse typique.
Donc, Celery est essentiellement une file d'attente de tâches basée sur une messagerie distribuée. Les unités d'exécution ou tâches sont exécutées simultanément sur un ou plusieurs travailleurs à l'aide du multitraitement, du gevent ou des eventlets. Ces tâches peuvent être exécutées de manière synchrone (c'est-à-dire en attendant d'être prêtes) ou de manière asynchrone (c'est-à-dire en arrière-plan).
Celery est une file d'attente de tâches distribuée basée sur le modèle producteur-consommateur.
Task Queue est un mécanisme de répartition du travail entre les threads et les machines, essentiellement un intermédiaire de messages entre les producteurs (applications Web) et les consommateurs (travailleurs de Celery).
Le céleri interagit par le biais de messages, les courtiers agissant comme intermédiaires entre les clients (producteurs) et les travailleurs (consommateurs). Pour démarrer une tâche, le client envoie un message dans la file d'attente et le courtier transmet le message au travailleur.
Le système Celery peut être composé de plusieurs travailleurs et courtiers, ce qui offre la possibilité d'une haute disponibilité et d'une expansion horizontale.
En bref, le client Celery est le producteur, qui ajoute de nouvelles tâches à la file d'attente via le courtier de messages. Ensuite, les travailleurs de Celery obtiennent également de nouvelles tâches de la file d'attente via le courtier de messages. Une fois traités, les résultats sont stockés dans le backend des résultats.
L'exemple ci-dessous utilisera RedisMQ comme courtier de messages.
Sur un système Linux/macOS, exécutez le serveur Redis localement en exécutant la commande suivante :
$ wget http://download.redis.io/redis-stable.tar.gz $ tar xvzf redis-stable.tar.gz $ rm redis-stable.tar.gz $ cd redis-stable $ make
Après avoir configuré Redis, exécutez le serveur Redis en exécutant la commande suivante :
$ redis-server
Le serveur s'exécute sur le port par défaut 6379.
Tout d'abord, configurez le projet Python localement.
Celery peut être installé via des outils standards tels que pip ou easy_install. Installez Celery et Redis via la commande suivante :
pip install celery redis==4.3.4
Vous avez maintenant besoin d'une instance de Celery pour exécuter l'application. Celery démarre avec une instance pour implémenter n'importe quelle tâche, telle que la création et la gestion de tâches.
Créez un fichier tâches.py dans le projet :
From celery import Celery broker_url = 'redi://localhost:6379/0' app = Celery('tasks',broker = broker_url) @app.task def add(x, y): return x+y
Une simple tâche add() est définie ici, renvoyant la somme de deux nombres.
Sur le terminal, basculez vers l'emplacement du projet et exécutez le travailleur Celery avec la commande suivante :
$ celery -A tasks worker - loglevel=info
Pour plus d'informations sur la ligne de commande du travailleur Celery, vous pouvez utiliser l'aide :
$ celery worker - help
Dans Celery, utilisez la méthode delay() pour appeler la tâche.
Ouvrez une autre fenêtre de terminal pour votre projet et exécutez la commande suivante :
$ python
Cela ouvrira la ligne de commande Python.
>> from tasks import add >> add.delay(1,2)
Cela renverra une instance AsyncResult, qui peut être utilisée pour vérifier l'état de la tâche, obtenir sa valeur de retour, attendre la fin de la tâche et également obtenir des exceptions et des traçages en cas d'échec.
Après avoir exécuté la commande add.delay(), la tâche sera placée dans la file d'attente puis acquise par le travailleur. Cela peut être vérifié sur le terminal du travailleur Celery, où vous pouvez voir clairement la tâche reçue puis terminée avec succès.
Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!