recherche
Maisondéveloppement back-endTutoriel PythonIntroduction à l'utilisation du greenlet Python et analyse de ses principes de mise en œuvre

J'ai récemment commencé à étudier la technologie de développement parallèle de Python, notamment le multi-threading, le multi-processus, la coroutine, etc. J'ai progressivement trié certaines informations sur Internet, et aujourd'hui j'ai trié les informations liées à greenlet.

Contexte technique du traitement simultané

Le traitement parallèle fait actuellement l'objet de beaucoup d'attention, car dans de nombreux cas, le calcul parallèle peut grandement améliorer le débit du système, en particulier à l'ère actuelle du multicœur et du multi- processeurs. Par conséquent, les langages anciens comme Lisp ont été repris et la programmation fonctionnelle est devenue de plus en plus populaire. Présentation d'une bibliothèque de traitement parallèle en python : greenlet. Python possède une bibliothèque très connue appelée stackless, qui est utilisée pour le traitement simultané. Elle utilise principalement un micro-thread appelé tasklet. La plus grande différence entre greenlet et stackless est qu'elle est très légère ? Pas assez. La plus grande différence est que greenlet vous oblige à gérer vous-même le changement de thread, c'est-à-dire que vous devez spécifier quel greenlet exécuter maintenant et quel greenlet exécuter à nouveau.

Mécanisme d'implémentation de greenlet

J'utilisais python pour développer des programmes Web et j'utilisais toujours le mode fastcgi. Ensuite, plusieurs threads sont démarrés dans chaque processus pour le traitement des requêtes. Besoins Assurez-vous que le temps de réponse de chaque requête est très court, sinon le serveur refusera le service tant que quelques requêtes plus lentes seront effectuées, car aucun thread ne peut répondre à la requête. Habituellement, les performances de nos services seront testées. allez en ligne, donc dans des circonstances normales, il n'y a pas beaucoup de gros problèmes. Mais il est impossible de tester tous les scénarios. Une fois que cela se produit, l'utilisateur attendra longtemps sans répondre, ce qui entraînera une indisponibilité totale. Plus tard, il a été converti en coroutine, greenlet sous python. J'en ai donc fait un mécanisme d'implémentation simple.

Chaque greenlet est juste un objet python (PyGreenlet) dans le tas. vous de créer des millions voire des dizaines de millions de greenlets pour un processus.

typedef struct _greenlet {
	PyObject_HEAD
	char* stack_start;
	char* stack_stop;
	char* stack_copy;
	intptr_t stack_saved;
	struct _greenlet* stack_prev;
	struct _greenlet* parent;
	PyObject* run_info;
	struct _frame* top_frame;
	int recursion_depth;
	PyObject* weakreflist;
	PyObject* exc_type;
	PyObject* exc_value;
	PyObject* exc_traceback;
	PyObject* dict;
} PyGreenlet;

Chaque greenlet est en fait une fonction, et enregistre le contexte lorsque cette fonction est exécutée. Pour une fonction, le contexte est sa pile. Tous les greenlets du même processus partagent une pile utilisateur commune allouée par le système d'exploitation. Ainsi, en même temps, seuls les greenlets dont les données de pile ne sont pas en conflit peuvent utiliser cette pile globale. Si le stack_stop du greenlet à exécuter chevauche le greenlet actuellement dans la pile, il est nécessaire de sauvegarder temporairement les données de pile de ces greenlets qui se chevauchent dans le tas. La position enregistrée est enregistrée via stack_copy et stack_saved, de sorte que le Les positions de stack_stop et stack_start dans la pile peuvent être copiées du tas vers la pile pendant la récupération. Sinon, d'autres problèmes se produiront. Par conséquent, ces greenlets créés par l'application obtiennent la concurrence en copiant continuellement les données. du tas ou du tas à la pile. Il est vraiment confortable d'utiliser la coroutine pour les applications de type IO

Ce qui suit est un modèle spatial de pile simple de greenlet (de greenlet.c)

A PyGreenlet is a range of C stack addresses that must be
saved and restored in such a way that the full range of the
stack contains valid data when we switch to it.

Stack layout for a greenlet:

               |     ^^^       |
               |  older data   |
               |               |
  stack_stop . |_______________|
        .      |               |
        .      | greenlet data |
        .      |   in stack    |
        .    * |_______________| . .  _____________  stack_copy + stack_saved
        .      |               |     |             |
        .      |     data      |     |greenlet data|
        .      |   unrelated   |     |    saved    |
        .      |      to       |     |   in heap   |
 stack_start . |     this      | . . |_____________| stack_copy
               |   greenlet    |
               |               |
               |  newer data   |
               |     vvv       |
Ce qui suit est un simple code greenlet.

from greenlet import greenlet

def test1():
    print 12
    gr2.switch()
    print 34

def test2():
    print 56
    gr1.switch()
    print 78

gr1 = greenlet(test1)
gr2 = greenlet(test2)
gr1.switch()
Actuellement, les coroutines discutées sont généralement prises en charge par les langages de programmation. À l'heure actuelle, les langages que je connais qui fournissent un support coroutine incluent python, lua, go, erlang, scala et rust. La différence entre les coroutines et les threads est que les coroutines ne sont pas commutées par le système d'exploitation, mais par le codage des

programmeurs En d'autres termes, la commutation est contrôlée par le programmeur, il n'y a donc pas de soi-disant thread de sécurité. Question.

Toutes les coroutines partagent le contexte de l'ensemble du processus, donc l'échange entre coroutines est également très pratique.

Par rapport à la deuxième solution (multiplexage d'E/S), les programmes écrits à l'aide de coroutines seront plus intuitifs, plutôt que de diviser un processus complet en plusieurs gestionnaires d'événements gérés. L'inconvénient des coroutines peut être qu'elles ne peuvent pas tirer parti du multicœur, mais cela peut être résolu par des coroutines + des processus.

Les coroutines peuvent être utilisées pour gérer la concurrence afin d'améliorer les performances, et peuvent également être utilisées pour implémenter des machines à états afin de simplifier la programmation. J'utilise davantage le deuxième. Je suis entré en contact avec python à la fin de l'année dernière et j'ai découvert le concept de coroutine de python. Plus tard, je suis entré en contact avec le traitement de rendement via pycon china2011. Greenlet est également une solution de coroutine, et à mon avis, c'est une solution plus. solution utilisable, notamment pour le traitement des machines à états.

À l'heure actuelle, cette partie est pratiquement terminée. Je prendrai le temps de la résumer plus tard.

Pour résumer :

1) Plusieurs processus peuvent tirer parti du multicœur, mais la communication inter-processus est gênante. De plus, une augmentation du nombre de processus entraînera une dégradation des performances et. le coût du changement de processus est plus élevé. La complexité du flux de programme est inférieure à celle du multiplexage d'E/S.

2) Le multiplexage d'E/S consiste à traiter plusieurs processus logiques au sein d'un processus sans commutation de processus. Les performances sont élevées et le partage d'informations entre les processus est simple. Cependant, les avantages du multicœur ne peuvent pas être exploités. De plus, le déroulement du programme est découpé en petits morceaux par le traitement des événements, ce qui rend le programme plus complexe et difficile à comprendre.

3) Les threads s'exécutent au sein d'un processus et sont planifiés par le système d'exploitation. De plus, ils partagent l'espace d'adressage virtuel du processus, ce qui facilite le partage d'informations entre les threads. Cependant, les problèmes de sécurité des threads entraînent une courbe d’apprentissage abrupte pour les threads et sont sujets aux erreurs.

4) Les coroutines sont fournies par les langages de programmation et sont commutées sous le contrôle des programmeurs, il n'y a donc aucun problème de sécurité des threads et peuvent être utilisées pour gérer les machines à états, les requêtes simultanées, etc. Mais je ne peux pas profiter du multicœur.

Les quatre solutions ci-dessus peuvent être utilisées ensemble. Je suis plus optimiste quant au modèle processus + coroutine

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Déclaration
Le contenu de cet article est volontairement contribué par les internautes et les droits d'auteur appartiennent à l'auteur original. Ce site n'assume aucune responsabilité légale correspondante. Si vous trouvez un contenu suspecté de plagiat ou de contrefaçon, veuillez contacter admin@php.cn
Python vs C: Comprendre les principales différencesPython vs C: Comprendre les principales différencesApr 21, 2025 am 12:18 AM

Python et C ont chacun leurs propres avantages, et le choix doit être basé sur les exigences du projet. 1) Python convient au développement rapide et au traitement des données en raison de sa syntaxe concise et de son typage dynamique. 2) C convient à des performances élevées et à une programmation système en raison de son typage statique et de sa gestion de la mémoire manuelle.

Python vs C: Quelle langue choisir pour votre projet?Python vs C: Quelle langue choisir pour votre projet?Apr 21, 2025 am 12:17 AM

Le choix de Python ou C dépend des exigences du projet: 1) Si vous avez besoin de développement rapide, de traitement des données et de conception du prototype, choisissez Python; 2) Si vous avez besoin de performances élevées, de faible latence et de contrôle matériel, choisissez C.

Atteindre vos objectifs python: la puissance de 2 heures par jourAtteindre vos objectifs python: la puissance de 2 heures par jourApr 20, 2025 am 12:21 AM

En investissant 2 heures d'apprentissage Python chaque jour, vous pouvez améliorer efficacement vos compétences en programmation. 1. Apprenez de nouvelles connaissances: lire des documents ou regarder des tutoriels. 2. Pratique: Écrivez du code et complétez les exercices. 3. Revue: consolider le contenu que vous avez appris. 4. Pratique du projet: Appliquez ce que vous avez appris dans les projets réels. Un tel plan d'apprentissage structuré peut vous aider à maîtriser systématiquement Python et à atteindre des objectifs de carrière.

Maximiser 2 heures: stratégies d'apprentissage Python efficacesMaximiser 2 heures: stratégies d'apprentissage Python efficacesApr 20, 2025 am 12:20 AM

Les méthodes pour apprendre Python efficacement dans les deux heures incluent: 1. Passez en revue les connaissances de base et assurez-vous que vous connaissez l'installation de Python et la syntaxe de base; 2. Comprendre les concepts de base de Python, tels que les variables, les listes, les fonctions, etc.; 3. Master Basic et Advanced Utilisation en utilisant des exemples; 4. Apprenez des erreurs courantes et des techniques de débogage; 5. Appliquer l'optimisation des performances et les meilleures pratiques, telles que l'utilisation des compréhensions de la liste et le suivi du guide de style PEP8.

Choisir entre Python et C: La bonne langue pour vousChoisir entre Python et C: La bonne langue pour vousApr 20, 2025 am 12:20 AM

Python convient aux débutants et à la science des données, et C convient à la programmation système et au développement de jeux. 1. Python est simple et facile à utiliser, adapté à la science des données et au développement Web. 2.C fournit des performances et un contrôle élevés, adaptés au développement de jeux et à la programmation système. Le choix doit être basé sur les besoins du projet et les intérêts personnels.

Python vs C: Une analyse comparative des langages de programmationPython vs C: Une analyse comparative des langages de programmationApr 20, 2025 am 12:14 AM

Python est plus adapté à la science des données et au développement rapide, tandis que C est plus adapté aux performances élevées et à la programmation système. 1. La syntaxe Python est concise et facile à apprendre, adaptée au traitement des données et à l'informatique scientifique. 2.C a une syntaxe complexe mais d'excellentes performances et est souvent utilisée dans le développement de jeux et la programmation système.

2 heures par jour: le potentiel de l'apprentissage python2 heures par jour: le potentiel de l'apprentissage pythonApr 20, 2025 am 12:14 AM

Il est possible d'investir deux heures par jour pour apprendre Python. 1. Apprenez de nouvelles connaissances: apprenez de nouveaux concepts en une heure, comme les listes et les dictionnaires. 2. Pratique et pratique: utilisez une heure pour effectuer des exercices de programmation, tels que la rédaction de petits programmes. Grâce à une planification et à une persévérance raisonnables, vous pouvez maîtriser les concepts de base de Python en peu de temps.

Python vs C: courbes d'apprentissage et facilité d'utilisationPython vs C: courbes d'apprentissage et facilité d'utilisationApr 19, 2025 am 12:20 AM

Python est plus facile à apprendre et à utiliser, tandis que C est plus puissant mais complexe. 1. La syntaxe Python est concise et adaptée aux débutants. Le typage dynamique et la gestion automatique de la mémoire le rendent facile à utiliser, mais peuvent entraîner des erreurs d'exécution. 2.C fournit des fonctionnalités de contrôle de bas niveau et avancées, adaptées aux applications haute performance, mais a un seuil d'apprentissage élevé et nécessite une gestion manuelle de la mémoire et de la sécurité.

See all articles

Outils d'IA chauds

Undresser.AI Undress

Undresser.AI Undress

Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover

AI Clothes Remover

Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool

Undress AI Tool

Images de déshabillage gratuites

Clothoff.io

Clothoff.io

Dissolvant de vêtements AI

Video Face Swap

Video Face Swap

Échangez les visages dans n'importe quelle vidéo sans effort grâce à notre outil d'échange de visage AI entièrement gratuit !

Outils chauds

SublimeText3 version anglaise

SublimeText3 version anglaise

Recommandé : version Win, prend en charge les invites de code !

Bloc-notes++7.3.1

Bloc-notes++7.3.1

Éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise

SublimeText3 version chinoise

Version chinoise, très simple à utiliser

mPDF

mPDF

mPDF est une bibliothèque PHP qui peut générer des fichiers PDF à partir de HTML encodé en UTF-8. L'auteur original, Ian Back, a écrit mPDF pour générer des fichiers PDF « à la volée » depuis son site Web et gérer différentes langues. Il est plus lent et produit des fichiers plus volumineux lors de l'utilisation de polices Unicode que les scripts originaux comme HTML2FPDF, mais prend en charge les styles CSS, etc. et présente de nombreuses améliorations. Prend en charge presque toutes les langues, y compris RTL (arabe et hébreu) ​​et CJK (chinois, japonais et coréen). Prend en charge les éléments imbriqués au niveau du bloc (tels que P, DIV),

Envoyer Studio 13.0.1

Envoyer Studio 13.0.1

Puissant environnement de développement intégré PHP