recherche
Maisondéveloppement back-endTutoriel PythonUn interprète dans un interprète

An interpreter inside an interpreter

Quelques mois de développement, j'ai décidé que mon étoile polaire pour Memphis serait d'exécuter un serveur Flask entièrement au sein de mon interprète. Je n'avais aucune idée de la quantité de travail que cela impliquerait, seulement que cela avait l'air cool et m'apprendrait probablement beaucoup de choses en cours de route. Si je me fixais cet objectif aujourd'hui, je choisirais peut-être FastAPI ou rien du tout parce que c'était idiot de ma part.

Python stdlib

Une décision importante que j'ai prise était de savoir comment gérer la bibliothèque standard Python. Comme vous le savez probablement, la bibliothèque standard d'un langage ne fait pas techniquement partie de la définition ou du runtime du langage. Il est inclus dans les versions afin de rendre le langage et le runtime plus utiles. Imaginez Python sans threading ni support asynchrone. Vous pourrez toujours évaluer des expressions et instancier des classes, mais la plupart des programmes prêts pour la production nécessitent une sorte de prise en charge de la concurrence.

Une option serait de réécrire moi-même l’intégralité de la bibliothèque standard. Je construis un interprète, n'est-ce pas ? Je pense que c'est l'approche adoptée par RustPython, qui est une voie admirable. Je pensais que j'avais assez de pain sur la planche pour faire fonctionner le temps d'exécution, je cherchais tous les coins à couper et j'ai décidé de ne pas le faire.

La bibliothèque standard Python se compose de deux parties principales : les parties implémentées en Python et les parties implémentées en C. Assez commodément, j'avais mon propre interpréteur Python. Puis-je simplement interpréter le fichier source Python de la machine hôte pour satisfaire le premier ? Oui, je pourrais. J'aurais besoin de prendre en charge toutes les syntaxes et fonctionnalités qu'ils utilisaient, mais après cela, cela fonctionnerait tout simplement.

C'est dans la partie C que ça devient intéressant. En 2023, j'ai pris la décision d'intégrer un interpréteur Python dans mon interpréteur Python sans bien comprendre ce que cela signifiait. Il était maintenant temps de réfléchir à cela et de décider si je voulais rester avec cette approche ou choisir une autre voie.

La boutique d'interopérabilité pour Rust et Python est Pyo3. En tant que seul jeu en ville, Pyo3 utilise l'interface de fonction étrangère (FFI) pour permettre à votre code Rust d'effectuer des appels dans le binaire CPython. Cela fonctionne en s'accordant sur l'Application Binary Interface (ABI), un concept que j'ai utilisé au cours de ma carrière chez AMD. Logiciel de base ftw !

Importer des modules

Mon cas d'utilisation initial était d'exécuter import sys et de lui demander un objet sur lequel je pourrais effectuer une opération d'accès aux membres. Je me lance ici dans le langage de l'interprète, mais c'est le type de session REPL dont je parle.

Python 3.12.5 (main, Aug  6 2024, 19:08:49) [Clang 15.0.0 (clang-1500.3.9.4)]
Type "help", "copyright", "credits" or "license" for more information.
>>> import sys
>>> sys
<module>
>>> type(sys.modules)
<class>
</class></module>

Obtenir cette fonctionnalité à l'aide de Pyo3 était simple.

pub struct CPythonModule(PyObject);

impl CPythonModule {
    pub fn new(name: &str) -> Self {
        pyo3::prepare_freethreaded_python();
        let pymodule = Python::with_gil(|py|
            PyModule::import(py, name).expect("Failed to import module").into()
        );

        Self(pymodule)
    }
}

Et nous pouvons utiliser cela pour piloter une session REPL similaire à Memphis, en supposant que vous vous souvenez du cocktail d'indicateurs de fonctionnalités pour que cela fonctionne.

Python 3.12.5 (main, Aug  6 2024, 19:08:49) [Clang 15.0.0 (clang-1500.3.9.4)]
Type "help", "copyright", "credits" or "license" for more information.
>>> import sys
>>> sys
<module>
>>> type(sys.modules)
<class>
</class></module>

Si vous vous demandez, ne pourriez-vous pas simplement utiliser cette approche pour importer l'intégralité de la bibliothèque standard (y compris les parties écrites en Python et C) et rendre votre vie entière, votre liberté et votre quête du bonheur plus faciles, la réponse est oui. Ce serait une approche valable ! Cependant, cela ferait de mon interprète davantage un shell autour de CPython que je ne le souhaiterais. Il s’agit d’un exercice d’apprentissage, donc je suis tout à fait favorable aux décisions arbitraires. Pour les puristes qui disent que charger n'importe quel morceau de CPython dans Memphis fait que Memphis n'est pas un véritable interprète, je dirais simplement : s'il vous plaît, montrez-moi votre interprète.

J'ai effectué un test rapide avec htop en exécutant import sys dans une session REPL en utilisant à la fois Memphis et CPython. À Memphis, comme cela chargeait les bibliothèques CPython en mémoire, cela augmentait l'utilisation de la RAM (Resident Set Size dans htop) d'environ 5 Mo. À titre de comparaison, le Memphis REPL après le chargement du module sys utilise environ 9 Mo de RAM, tandis que le Python REPL avant et après le chargement du module sys utilise à peu près la même chose. Je suis sûr que ce n’est pas une comparaison de pommes avec des pommes, mais cela m’a au moins dit que Memphis n’allait pas lentement étouffer mon ordinateur à mort.

Convertir des objets et devenir existentiel

La prochaine complexité de cette configuration consiste à convertir ma représentation d'objet Memphis en représentations CPython et vice versa. Il s'agit d'un travail en cours et ma directive principale était, au départ, de « ne pas échouer » et, plus récemment, de « afficher des avertissements lorsque vous effectuez une conversion avec perte ».

Voici ma conversion d'un PyObject, qui est la représentation d'objet du côté Pyo3, en un ExprResult, ma représentation Memphis.

pub struct CPythonModule(PyObject);

impl CPythonModule {
    pub fn new(name: &str) -> Self {
        pyo3::prepare_freethreaded_python();
        let pymodule = Python::with_gil(|py|
            PyModule::import(py, name).expect("Failed to import module").into()
        );

        Self(pymodule)
    }
}

Et voici la comparaison inverse. Notez que pour les deux, nous devons transmettre un objet Python, qui contrôle notre accès au CPython GIL (verrouillage global de l'interpréteur).

memphis 0.1.0 REPL (Type 'exit()' to quit)
>>> import sys
>>> sys
<module>
>>> type(sys.modules)
<class>
</class></module>

C’est un domaine riche que j’aimerais explorer davantage. Voici quelques-unes des orientations que j’ai envisagées :

  1. Convertissez à chaque fois qu'un objet traverse l'interface FFI. (Et oui, je me rends compte que l'acronyme s'étend à l'interface d'interface de fonction étrangère.) C'est à peu près ce que je fais déjà, j'aurais juste besoin de le posséder et de ne pas me sentir comme un imposteur. Cela pourrait être simple mais inefficace.
  2. Tenir un registre pour que chaque objet existe au plus une fois de chaque côté. Ce serait plus efficace que (1), mais cela nécessiterait une valeur stable que vous pourriez utiliser pour rechercher et relier ces objets.
  3. Visez une représentation unique du côté de Rust et utilisez Pyo3 pour proxy et convertir paresseusement les champs selon vos besoins. Je pense que cela exploiterait toujours la fonctionnalité de (1), mais de manière plus efficace.
  4. Faites correspondre la disposition de la mémoire d'un objet Memphis à celle d'un PyObject. Semblable à la façon dont #[repr(C)] fonctionne déjà dans Rust, cela serait similaire au rôle qu'un ABI joue pour un appel de fonction. Je ne suis même pas sûr que cela soit possible étant donné la différence entre ce que chaque partie doit faire pour son évaluation, mais cela m'intrigue.

Je prends de l'avance car je peux à peine charger un module C pour le moment, mais il n'y a vraiment aucune limite à ce que ma curiosité pourrait me mener dans ce domaine.

La fin

Je continue d'insister sur ce point lorsque j'ai rencontré un nouvel échec de conversion alors que je m'efforçais de faire démarrer Flask. Cet exercice est un bon rappel que tous les objets (ou classes, modules, etc.) sont un ensemble d'attributs qui existent dans un format connu en mémoire. Si nous comprenons suffisamment bien ce format, nous devrions être capables de faire des choses incroyables, que ce soit du côté de Memphis ou de CPython.

Cette philosophie guide également mon travail avec From Scratch Code. Si vous en avez assez de ne pas pouvoir faire fonctionner une bibliothèque dans votre code, je vous encourage à prendre du recul et à vous demander : que fait réellement la bibliothèque ? En avez-vous besoin ou une solution plus simple pourrait-elle fonctionner ? Je crois qu'il faut cultiver cette curiosité pour les logiciels et je serais heureux de vous aider à intégrer cet état d'esprit dans votre boîte à outils.


Si vous souhaitez recevoir plus de messages comme celui-ci directement dans votre boîte de réception, vous pouvez vous abonner ici !

Autre part

En plus d'encadrer des ingénieurs logiciels, j'écris également sur mon expérience en tant que personne autiste diagnostiquée chez l'adulte. Moins de code et le même nombre de blagues.

  • Pourquoi ai-je soif de reconnaissance ? - Depuis l'organisation Scratch dot

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Déclaration
Le contenu de cet article est volontairement contribué par les internautes et les droits d'auteur appartiennent à l'auteur original. Ce site n'assume aucune responsabilité légale correspondante. Si vous trouvez un contenu suspecté de plagiat ou de contrefaçon, veuillez contacter admin@php.cn
Python vs C: Comprendre les principales différencesPython vs C: Comprendre les principales différencesApr 21, 2025 am 12:18 AM

Python et C ont chacun leurs propres avantages, et le choix doit être basé sur les exigences du projet. 1) Python convient au développement rapide et au traitement des données en raison de sa syntaxe concise et de son typage dynamique. 2) C convient à des performances élevées et à une programmation système en raison de son typage statique et de sa gestion de la mémoire manuelle.

Python vs C: Quelle langue choisir pour votre projet?Python vs C: Quelle langue choisir pour votre projet?Apr 21, 2025 am 12:17 AM

Le choix de Python ou C dépend des exigences du projet: 1) Si vous avez besoin de développement rapide, de traitement des données et de conception du prototype, choisissez Python; 2) Si vous avez besoin de performances élevées, de faible latence et de contrôle matériel, choisissez C.

Atteindre vos objectifs python: la puissance de 2 heures par jourAtteindre vos objectifs python: la puissance de 2 heures par jourApr 20, 2025 am 12:21 AM

En investissant 2 heures d'apprentissage Python chaque jour, vous pouvez améliorer efficacement vos compétences en programmation. 1. Apprenez de nouvelles connaissances: lire des documents ou regarder des tutoriels. 2. Pratique: Écrivez du code et complétez les exercices. 3. Revue: consolider le contenu que vous avez appris. 4. Pratique du projet: Appliquez ce que vous avez appris dans les projets réels. Un tel plan d'apprentissage structuré peut vous aider à maîtriser systématiquement Python et à atteindre des objectifs de carrière.

Maximiser 2 heures: stratégies d'apprentissage Python efficacesMaximiser 2 heures: stratégies d'apprentissage Python efficacesApr 20, 2025 am 12:20 AM

Les méthodes pour apprendre Python efficacement dans les deux heures incluent: 1. Passez en revue les connaissances de base et assurez-vous que vous connaissez l'installation de Python et la syntaxe de base; 2. Comprendre les concepts de base de Python, tels que les variables, les listes, les fonctions, etc.; 3. Master Basic et Advanced Utilisation en utilisant des exemples; 4. Apprenez des erreurs courantes et des techniques de débogage; 5. Appliquer l'optimisation des performances et les meilleures pratiques, telles que l'utilisation des compréhensions de la liste et le suivi du guide de style PEP8.

Choisir entre Python et C: La bonne langue pour vousChoisir entre Python et C: La bonne langue pour vousApr 20, 2025 am 12:20 AM

Python convient aux débutants et à la science des données, et C convient à la programmation système et au développement de jeux. 1. Python est simple et facile à utiliser, adapté à la science des données et au développement Web. 2.C fournit des performances et un contrôle élevés, adaptés au développement de jeux et à la programmation système. Le choix doit être basé sur les besoins du projet et les intérêts personnels.

Python vs C: Une analyse comparative des langages de programmationPython vs C: Une analyse comparative des langages de programmationApr 20, 2025 am 12:14 AM

Python est plus adapté à la science des données et au développement rapide, tandis que C est plus adapté aux performances élevées et à la programmation système. 1. La syntaxe Python est concise et facile à apprendre, adaptée au traitement des données et à l'informatique scientifique. 2.C a une syntaxe complexe mais d'excellentes performances et est souvent utilisée dans le développement de jeux et la programmation système.

2 heures par jour: le potentiel de l'apprentissage python2 heures par jour: le potentiel de l'apprentissage pythonApr 20, 2025 am 12:14 AM

Il est possible d'investir deux heures par jour pour apprendre Python. 1. Apprenez de nouvelles connaissances: apprenez de nouveaux concepts en une heure, comme les listes et les dictionnaires. 2. Pratique et pratique: utilisez une heure pour effectuer des exercices de programmation, tels que la rédaction de petits programmes. Grâce à une planification et à une persévérance raisonnables, vous pouvez maîtriser les concepts de base de Python en peu de temps.

Python vs C: courbes d'apprentissage et facilité d'utilisationPython vs C: courbes d'apprentissage et facilité d'utilisationApr 19, 2025 am 12:20 AM

Python est plus facile à apprendre et à utiliser, tandis que C est plus puissant mais complexe. 1. La syntaxe Python est concise et adaptée aux débutants. Le typage dynamique et la gestion automatique de la mémoire le rendent facile à utiliser, mais peuvent entraîner des erreurs d'exécution. 2.C fournit des fonctionnalités de contrôle de bas niveau et avancées, adaptées aux applications haute performance, mais a un seuil d'apprentissage élevé et nécessite une gestion manuelle de la mémoire et de la sécurité.

See all articles

Outils d'IA chauds

Undresser.AI Undress

Undresser.AI Undress

Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover

AI Clothes Remover

Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool

Undress AI Tool

Images de déshabillage gratuites

Clothoff.io

Clothoff.io

Dissolvant de vêtements AI

Video Face Swap

Video Face Swap

Échangez les visages dans n'importe quelle vidéo sans effort grâce à notre outil d'échange de visage AI entièrement gratuit !

Outils chauds

Télécharger la version Mac de l'éditeur Atom

Télécharger la version Mac de l'éditeur Atom

L'éditeur open source le plus populaire

SublimeText3 Linux nouvelle version

SublimeText3 Linux nouvelle version

Dernière version de SublimeText3 Linux

mPDF

mPDF

mPDF est une bibliothèque PHP qui peut générer des fichiers PDF à partir de HTML encodé en UTF-8. L'auteur original, Ian Back, a écrit mPDF pour générer des fichiers PDF « à la volée » depuis son site Web et gérer différentes langues. Il est plus lent et produit des fichiers plus volumineux lors de l'utilisation de polices Unicode que les scripts originaux comme HTML2FPDF, mais prend en charge les styles CSS, etc. et présente de nombreuses améliorations. Prend en charge presque toutes les langues, y compris RTL (arabe et hébreu) ​​et CJK (chinois, japonais et coréen). Prend en charge les éléments imbriqués au niveau du bloc (tels que P, DIV),

Envoyer Studio 13.0.1

Envoyer Studio 13.0.1

Puissant environnement de développement intégré PHP

Listes Sec

Listes Sec

SecLists est le compagnon ultime du testeur de sécurité. Il s'agit d'une collection de différents types de listes fréquemment utilisées lors des évaluations de sécurité, le tout en un seul endroit. SecLists contribue à rendre les tests de sécurité plus efficaces et productifs en fournissant facilement toutes les listes dont un testeur de sécurité pourrait avoir besoin. Les types de listes incluent les noms d'utilisateur, les mots de passe, les URL, les charges utiles floues, les modèles de données sensibles, les shells Web, etc. Le testeur peut simplement extraire ce référentiel sur une nouvelle machine de test et il aura accès à tous les types de listes dont il a besoin.