Jurubahasa di dalam jurubahasa

Beberapa bulan selepas pembangunan, saya memutuskan bintang utara saya untuk Memphis akan menjalankan pelayan Flask sepenuhnya dalam jurubahasa saya. Saya tidak tahu berapa banyak kerja yang diperlukan untuk ini, cuma ia kedengaran keren dan mungkin akan mengajar saya banyak perkara di sepanjang jalan. Jika saya membuat matlamat ini hari ini, saya mungkin memilih FastAPI atau tidak sama sekali kerana itu adalah bodoh bagi saya.

Python stdlib

Keputusan besar yang saya temui ialah cara menangani lib standard Python. Seperti yang anda mungkin biasa, lib standard bahasa bukan sebahagian daripada definisi bahasa atau masa jalan secara teknikal. Ia disertakan dengan keluaran untuk menjadikan bahasa dan masa jalan lebih berguna. Bayangkan Python tanpa threading atau sokongan async. Anda masih boleh menilai ekspresi dan kelas instantiate, tetapi kebanyakan program sedia pengeluaran memerlukan sejenis sokongan serentak.

Satu pilihan ialah menulis semula keseluruhan lib standard sendiri. Saya sedang membina jurubahasa, bukan? Saya percaya ini adalah pendekatan yang diambil oleh RustPython, yang merupakan jalan yang mengagumkan. Saya fikir saya sudah cukup untuk mendapatkan masa jalan untuk berfungsi, sedang mencari mana-mana dan semua sudut untuk dipotong, dan memutuskan untuk menentangnya.

Lib standard Python terdiri daripada dua bahagian utama: bahagian yang dilaksanakan dalam Python dan bahagian yang dilaksanakan dalam C. Cukup mudah, saya mempunyai penterjemah Python saya sendiri. Bolehkah saya mentafsirkan fail sumber Python dari mesin hos untuk memenuhi yang pertama? Ya, saya boleh. Saya perlu menyokong setiap sintaks dan ciri yang mereka gunakan, tetapi selepas itu, ia akan Berfungsi.

Bahagian C adalah tempat ia menjadi menarik. Jauh di sana pada tahun 2023, saya membuat keputusan untuk membenamkan penterjemah Python dalam penterjemah Python saya tanpa memahami sepenuhnya maksudnya. Kini tiba masanya untuk memikirkan perkara ini dan memutuskan sama ada saya mahu kekal dengan pendekatan ini atau memilih jalan lain.

Kedai interop untuk Rust dan Python ialah Pyo3. Sebagai satu-satunya permainan di bandar, Pyo3 menggunakan Antara Muka Fungsi Asing (FFI) untuk membenarkan kod Rust anda membuat panggilan ke dalam binari CPython. Ini berfungsi dengan bersetuju dengan Antara Muka Binari Aplikasi (ABI), konsep yang saya gunakan semasa kerjaya saya di AMD. Perisian teras ftw!

Mengimport modul

Kes penggunaan awal saya adalah untuk menjalankan import sys dan minta ia memberi saya objek yang boleh saya lakukan operasi akses ahli. Saya akan bercakap dengan jurubahasa di sini, tetapi ini adalah jenis sesi REPL yang saya maksudkan.

Python 3.12.5 (main, Aug  6 2024, 19:08:49) [Clang 15.0.0 (clang-1500.3.9.4)]
Type "help", "copyright", "credits" or "license" for more information.
>>> import sys
>>> sys
<module 'sys' (built-in)>
>>> type(sys.modules)
<class 'dict'>

Mendapatkan fungsi ini menggunakan Pyo3 adalah mudah.

pub struct CPythonModule(PyObject);

impl CPythonModule {
    pub fn new(name: &str) -> Self {
        pyo3::prepare_freethreaded_python();
        let pymodule = Python::with_gil(|py|
            PyModule::import(py, name).expect("Failed to import module").into()
        );

        Self(pymodule)
    }
}

Dan kami boleh menggunakan ini untuk memacu sesi REPL yang serupa di Memphis, dengan mengandaikan anda mengingati koktel bendera ciri untuk membolehkan ini dijalankan.

Python 3.12.5 (main, Aug  6 2024, 19:08:49) [Clang 15.0.0 (clang-1500.3.9.4)]
Type "help", "copyright", "credits" or "license" for more information.
>>> import sys
>>> sys
<module 'sys' (built-in)>
>>> type(sys.modules)
<class 'dict'>

Jika anda bertanya pada diri sendiri, bolehkah anda menggunakan pendekatan ini untuk mengimport keseluruhan lib standard (termasuk bahagian yang ditulis dalam Python dan C) dan menjadikan seluruh hidup anda, kebebasan dan mengejar kebahagiaan, lebih mudah, jawapannya ya. Itu akan menjadi pendekatan yang sah! Walau bagaimanapun, itu akan menjadikan jurubahasa saya lebih kepada shell di sekitar CPython daripada yang saya mahukan. Ini adalah latihan pembelajaran jadi saya semua untuk keputusan sewenang-wenangnya. Bagi orang puritan di luar sana yang mengatakan memuatkan mana-mana bahagian CPython di dalam Memphis menjadikan Memphis bukan jurubahasa sebenar, saya hanya akan berkata: sila tunjukkan jurubahasa anda.

Saya menjalankan ujian pantas dengan htop dengan menjalankan import sys dalam sesi REPL menggunakan Memphis dan CPython. Di Memphis, kerana ini memuatkan perpustakaan CPython ke dalam memori, ia meningkatkan penggunaan RAM (Saiz Set Residen dalam htop) sebanyak kira-kira 5MB. Sebagai perbandingan, Memphis REPL selepas memuatkan modul sys menggunakan kira-kira 9MB RAM, manakala Python REPL sebelum dan selepas memuatkan modul sys menggunakan lebih kurang sama. Saya pasti ini bukan perbandingan antara epal dengan epal, tetapi sekurang-kurangnya ia memberitahu saya bahawa Memphis tidak akan mencekik komputer saya secara perlahan-lahan sehingga mati.

Menukar objek dan menjadi wujud

Kerumitan seterusnya dengan persediaan ini melibatkan penukaran perwakilan objek Memphis saya kepada perwakilan CPython dan sebaliknya. Ini adalah kerja dalam proses dan arahan utama saya, pada mulanya, "jangan gagal" dan, lebih baru-baru ini, "tunjukkan amaran apabila anda melakukan penukaran yang rugi".

Berikut ialah penukaran saya daripada PyObject, iaitu perwakilan objek pada bahagian Pyo3, kepada ExprResult, perwakilan Memphis saya.

pub struct CPythonModule(PyObject);

impl CPythonModule {
    pub fn new(name: &str) -> Self {
        pyo3::prepare_freethreaded_python();
        let pymodule = Python::with_gil(|py|
            PyModule::import(py, name).expect("Failed to import module").into()
        );

        Self(pymodule)
    }
}

Dan inilah perbandingan terbalik. Ambil perhatian bahawa untuk kedua-dua ini, kita mesti memasukkan objek Python, yang mengawal akses kita kepada CPython GIL (kunci penterjemah global).

memphis 0.1.0 REPL (Type 'exit()' to quit)
>>> import sys
>>> sys
<module 'sys' (built-in)>
>>> type(sys.modules)
<class 'dict' (built-in)>

Ini adalah kawasan yang kaya yang saya ingin terokai dengan lebih lanjut. Berikut ialah beberapa arah yang telah saya pertimbangkan:

1. Tukar setiap kali objek melintasi antara muka FFI. (Dan ya, saya sedar bahawa akronim berkembang kepada antara muka antara muka fungsi asing.) Itulah kira-kira yang saya sudah lakukan, saya hanya perlu memilikinya dan tidak berasa seperti penipu. Ini mungkin mudah tetapi tidak cekap.
2. Simpan pendaftaran supaya setiap objek wujud paling banyak sekali pada setiap sisi. Ini akan menjadi lebih cekap daripada (1), tetapi ia memerlukan nilai yang stabil yang boleh anda gunakan untuk mencari dan memautkan objek ini.
3. Sasarkan untuk satu perwakilan di sebelah Rust dan gunakan Pyo3 untuk proksi dan malas menukar medan seperti yang diperlukan. Saya percaya ini masih akan memanfaatkan kefungsian (1), tetapi dengan cara yang lebih cekap.
4. Jadikan susun atur memori objek Memphis sepadan dengan PyObject. Sama seperti cara #[repr(C)] sudah berfungsi dalam Rust, ini akan serupa dengan peranan yang dimainkan oleh ABI untuk panggilan fungsi. Saya tidak pasti sama ada yang ini boleh dilakukan memandangkan perbezaan dalam perkara yang perlu dilakukan oleh setiap pihak untuk menilai, tetapi ini menarik minat saya.

Saya semakin mendahului diri saya sendiri kerana saya hampir tidak dapat memuatkan modul C sekarang, tetapi sememangnya tiada penghujung di mana rasa ingin tahu saya boleh membawa saya ke kawasan ini.

Akhir

Saya terus mencuba perkara ini apabila saya mengalami kegagalan penukaran baharu sambil berlumba-lumba untuk mendapatkan Flask untuk but. Latihan ini merupakan peringatan yang baik bahawa semua objek (atau kelas, modul, dll) ialah satu set atribut yang wujud dalam format yang diketahui dalam ingatan. Jika kita memahami format itu dengan cukup baik, kita seharusnya dapat melakukan perkara yang luar biasa, tidak kira sama ada di bahagian Memphis atau CPython.

Falsafah ini mendorong kerja saya dengan From Scratch Code juga. Jika anda bosan kerana tidak dapat membuat perpustakaan berfungsi dalam kod anda, saya menggalakkan anda untuk berundur dan bertanya: apakah sebenarnya yang dilakukan oleh perpustakaan? Adakah anda memerlukannya, atau bolehkah penyelesaian yang lebih mudah berfungsi? Saya percaya dalam memupuk rasa ingin tahu tentang perisian ini—dan saya berbesar hati untuk membantu anda memasukkan pemikiran ini ke dalam kotak alat anda.

---

Jika anda ingin mendapatkan lebih banyak siaran seperti ini terus ke peti masuk anda, anda boleh melanggan di sini!

Di tempat lain

Selain membimbing jurutera perisian, saya juga menulis tentang pengalaman saya sebagai orang autistik yang didiagnosis dewasa. Kurang kod dan bilangan jenaka yang sama.

• Mengapa saya inginkan pengiktirafan? - Dari org titik awal

Atas ialah kandungan terperinci Jurubahasa di dalam jurubahasa. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!