Heim > Artikel > Backend-Entwicklung > Welche Rolle spielt das Codeobjekt in der virtuellen Python-Maschine?

Welche Rolle spielt das Codeobjekt in der virtuellen Python-Maschine?

PHPznach vorne: 2023-05-10 17:46:06928Durchsuche

Codeobjekt-Datenstruktur

typedef struct {
    PyObject_HEAD
    int co_argcount;		/* #arguments, except *args */
    int co_kwonlyargcount;	/* #keyword only arguments */
    int co_nlocals;		/* #local variables */
    int co_stacksize;		/* #entries needed for evaluation stack */
    int co_flags;		/* CO_..., see below */
    PyObject *co_code;		/* instruction opcodes */
    PyObject *co_consts;	/* list (constants used) */
    PyObject *co_names;		/* list of strings (names used) */
    PyObject *co_varnames;	/* tuple of strings (local variable names) */
    PyObject *co_freevars;	/* tuple of strings (free variable names) */
    PyObject *co_cellvars;      /* tuple of strings (cell variable names) */
    /* The rest aren&#39;t used in either hash or comparisons, except for
       co_name (used in both) and co_firstlineno (used only in
       comparisons).  This is done to preserve the name and line number
       for tracebacks and debuggers; otherwise, constant de-duplication
       would collapse identical functions/lambdas defined on different lines.
    */
    unsigned char *co_cell2arg; /* Maps cell vars which are arguments. */
    PyObject *co_filename;	/* unicode (where it was loaded from) */
    PyObject *co_name;		/* unicode (name, for reference) */
    int co_firstlineno;		/* first source line number */
    PyObject *co_lnotab;	/* string (encoding addr<->lineno mapping) See
				   Objects/lnotab_notes.txt for details. */
    void *co_zombieframe;     /* for optimization only (see frameobject.c) */
    PyObject *co_weakreflist;   /* to support weakrefs to code objects */
} PyCodeObject;

Das Folgende ist die Rolle jedes Felds im Codeobjekt:

Zunächst müssen Sie das Konzept des Codeblocks verstehen , das als kleine Einheit als Ganzes ausgeführt wird. Zu den gängigen Codeblöcken in Python gehören: Funktionskörper, Klassendefinition und ein Modul.
argcount, dies stellt die Anzahl der Parameter in einem Codeblock dar. Dieser Parameter ist nur für Funktionskörpercodeblöcke nützlich, da die obige Funktion pycdemo.py beispielsweise ein Modul und keine Funktion sein kann , also dieser Parameter Der entsprechende Wert ist 0.
co_code, der spezifische Inhalt dieses Objekts ist eine Bytesequenz, die echten Python-Bytecode speichert. Er wird hauptsächlich für die Ausführung virtueller Python-Maschinen verwendet und wird in diesem Artikel nicht im Detail analysiert.
co_consts, dieses Feld ist ein Listenfeld, das hauptsächlich einige Zeichenfolgenkonstanten und numerische Konstanten enthält, z. B. „__main__“ und 100 oben.
co_filename, die Bedeutung dieses Feldes ist der Dateiname der entsprechenden Quelldatei.
co_firstlineno, die Bedeutung dieses Feldes ist die Anzahl der Zeilen, die in der ersten Codezeile in der Python-Quelldatei erscheinen. Dieses Feld ist beim Debuggen sehr wichtig.
co_flags, die Hauptbedeutung dieses Feldes besteht darin, den Typ dieses Codeobjekts zu identifizieren. 0x0080 zeigt an, dass es sich bei diesem Block um eine Coroutine handelt, 0x0010 zeigt an, dass dieses Codeobjekt verschachtelt ist und so weiter.
co_lnotab, die Bedeutung dieses Feldes wird hauptsächlich zur Berechnung der Anzahl der Quellcodezeilen verwendet, die jeder Bytecode-Anweisung entsprechen.
co_varnames, die Hauptbedeutung dieses Feldes besteht darin, einen Namen darzustellen, der lokal in einem Codeobjekt definiert ist.
co_names, das Gegenteil von co_varnames, stellt Namen dar, die nicht lokal definiert, sondern im Codeobjekt verwendet werden.
co_nlocals, dieses Feld gibt die Anzahl der lokal in einem Codeobjekt verwendeten Variablen an.
co_stackszie, da die virtuelle Python-Maschine ein Stapelcomputer ist, gibt der Wert dieses Parameters den für diesen Stapel erforderlichen Maximalwert an.
co_cellvars, co_freevars, diese beiden Felder beziehen sich hauptsächlich auf verschachtelte Funktionen und Funktionsabschlüsse. Wir werden dieses Feld in den folgenden Artikeln ausführlich erläutern.

Detaillierte Analyse von Codeobjekten

Jetzt verwenden wir einige praktische Beispiele, um bestimmte Codeobjekte zu analysieren.

import dis
import binascii
import types

d = 10


def test_co01(c):
    a = 1
    b = 2
    return a + b + c + d

Im vorherigen Artikel haben wir erwähnt, dass eine Funktion ein Codeobjektobjekt enthält. Das Ausgabeergebnis des Codeobjektobjekts von test_co01 (siehe co01 für den vollständigen Code) lautet wie folgt:

code
   argcount 1
   nlocals 3
   stacksize 2
   flags 0043 0x43
   code b&#39;6401007d01006402007d02007c01007c0200177c0000177400001753&#39;
  9           0 LOAD_CONST               1 (1)
              3 STORE_FAST               1 (a)

 10           6 LOAD_CONST               2 (2)
              9 STORE_FAST               2 (b)

 11          12 LOAD_FAST                1 (a)
             15 LOAD_FAST                2 (b)
             18 BINARY_ADD
             19 LOAD_FAST                0 (c)
             22 BINARY_ADD
             23 LOAD_GLOBAL              0 (d)
             26 BINARY_ADD
             27 RETURN_VALUE
   consts
      None
      1
      2
   names (&#39;d&#39;,)
   varnames (&#39;c&#39;, &#39;a&#39;, &#39;b&#39;)
   freevars ()
   cellvars ()
   filename &#39;/tmp/pycharm_project_396/co01.py&#39;
   name &#39;test_co01&#39;
   firstlineno 8
   lnotab b&#39;000106010601&#39;

Der Wert des Feldes argcount ist gleich 1, was darauf hinweist, dass die Funktion einen Parameter hat und dass diese Funktion test_co01 einen Parameter c hat, der einander entspricht.
Der Wert des Felds nlocals ist gleich 3, was darauf hinweist, dass in der Funktion test_co01 insgesamt drei lokale Funktionsvariablen a, b, c implementiert sind.
Die Feldnamen entsprechen co_names im Code. Gemäß der vorherigen Definition wird die globale Variable d in der Funktion test_co01 verwendet, sie ist jedoch nicht in der Funktion definiert.
Feldvariablennamen, dies stellt die in lokalen Definitionen verwendeten Variablen dar. In der Funktion test_co01 gibt es drei Hauptvariablen a, b, c.
Das Feld Dateiname ist die Adresse der Python-Datei.
Field firstlineno gibt an, dass die erste Zeile der Funktion in Zeile 8 des entsprechenden Python-Codes erscheint.

Detaillierte Analyse des Flag-Felds

Wir verwenden speziell den Quellcode von Python3.5 für die Analyse. Die spezifische Implementierung der virtuellen cpython-Maschine lautet wie folgt (Include/code.h):

/* Masks for co_flags above */
#define CO_OPTIMIZED	0x0001
#define CO_NEWLOCALS	0x0002
#define CO_VARARGS	0x0004
#define CO_VARKEYWORDS	0x0008
#define CO_NESTED       0x0010
#define CO_GENERATOR    0x0020
/* The CO_NOFREE flag is set if there are no free or cell variables.
   This information is redundant, but it allows a single flag test
   to determine whether there is any extra work to be done when the
   call frame it setup.
*/
#define CO_NOFREE       0x0040

/* The CO_COROUTINE flag is set for coroutine functions (defined with
   ``async def`` keywords) */
#define CO_COROUTINE            0x0080
#define CO_ITERABLE_COROUTINE   0x0100

Wenn das Flag-Feld und Jede der oben genannten Makrodefinitionen führt die &-Operation aus. Wenn das Ergebnis größer als 0 ist, bedeutet dies, dass die entsprechenden Bedingungen erfüllt sind.

Die obige Makrodefinition hat folgende Bedeutung:

CO_OPTIMIZED Dieses Feld zeigt an, dass das Codeobjekt optimiert ist und lokal von der Funktion definierte Variablen verwendet.
CO_NEWLOCALS, die Bedeutung dieses Feldes besteht darin, dass beim Ausführen des Codes dieses Codeobjekts ein Diktatobjekt für das f_locals-Objekt im Stapelrahmen erstellt wird.
CO_VARARGS gibt an, ob dieses Codeobjekt Positionsparameter enthält.
CO_VARKEYWORDS gibt an, ob dieses Codeobjekt Schlüsselwortparameter enthält.
CO_NESTED, was darauf hinweist, dass dieses Codeobjekt eine verschachtelte Funktion ist.
CO_GENERATOR, was anzeigt, dass dieses Codeobjekt ein Generator ist.
CO_COROUTINE, was darauf hinweist, dass dieses Codeobjekt eine Coroutine-Funktion ist.
CO_ITERABLE_COROUTINE, was anzeigt, dass das Codeobjekt eine iterierbare Coroutine-Funktion ist.
CO_NOFREE, das bedeutet, dass es keine Freevars und Cellvars gibt, das heißt, es gibt keinen Funktionsabschluss.

Jetzt analysieren wir die Flags der vorherigen Funktion test_co01. Der entsprechende Wert ist gleich 0x43, was bedeutet, dass diese Funktion drei Merkmale erfüllt: CO_NEWLOCALS, CO_OPTIMIZED und CO_NOFREE.

freevars & cellvars

我们使用下面的函数来对这两个字段进行分析：

def test_co02():
    a = 1
    b = 2

    def g():
        return a + b
    return a + b + g()

上面的函数的信息如下所示（完整代码见co02）：

code
   argcount 0
   nlocals 1
   stacksize 3
   flags 0003 0x3
   code
      b&#39;640100890000640200890100870000870100660200640300640400860000&#39;
      b&#39;7d0000880000880100177c00008300001753&#39;
 15           0 LOAD_CONST               1 (1)
              3 STORE_DEREF              0 (a)

 16           6 LOAD_CONST               2 (2)
              9 STORE_DEREF              1 (b)

 18          12 LOAD_CLOSURE             0 (a)
             15 LOAD_CLOSURE             1 (b)
             18 BUILD_TUPLE              2
             21 LOAD_CONST               3 (<code object g at 0x7f133ff496f0, file "/tmp/pycharm_project_396/co01.py", line 18>)
             24 LOAD_CONST               4 (&#39;test_co02.<locals>.g&#39;)
             27 MAKE_CLOSURE             0
             30 STORE_FAST               0 (g)

 20          33 LOAD_DEREF               0 (a)
             36 LOAD_DEREF               1 (b)
             39 BINARY_ADD
             40 LOAD_FAST                0 (g)
             43 CALL_FUNCTION            0 (0 positional, 0 keyword pair)
             46 BINARY_ADD
             47 RETURN_VALUE
   consts
      None
      1
      2
      code
         argcount 0
         nlocals 0
         stacksize 2
         flags 0013 0x13
         code b&#39;8800008801001753&#39;
 19           0 LOAD_DEREF               0 (a)
              3 LOAD_DEREF               1 (b)
              6 BINARY_ADD
              7 RETURN_VALUE
         consts
            None
         names ()
         varnames ()
         freevars (&#39;a&#39;, &#39;b&#39;)
         cellvars ()
         filename &#39;/tmp/pycharm_project_396/co01.py&#39;
         name &#39;g&#39;
         firstlineno 18
         lnotab b&#39;0001&#39;
      &#39;test_co02.<locals>.g&#39;
   names ()
   varnames (&#39;g&#39;,)
   freevars ()
   cellvars (&#39;a&#39;, &#39;b&#39;)
   filename &#39;/tmp/pycharm_project_396/co01.py&#39;
   name &#39;test_co02&#39;
   firstlineno 14
   lnotab b&#39;0001060106021502&#39;

从上面的输出我们可以看到的是，函数 test_co02 的 cellvars 为 ('a', 'b')，函数 g 的 freevars 为 ('a', 'b')，cellvars 表示在其他函数当中会使用本地定义的变量，freevars 表示本地会使用其他函数定义的变量。

再来分析一下函数 test_co02 的 flags，他的 flags 等于 0x3 因为有闭包的存在因此 flags 不会存在 CO_NOFREE，也就是少了值 0x0040 。

stacksize

这个字段存储的是在函数在被虚拟机执行的时候所需要的最大的栈空间的大小，这也是一种优化手段，因为在知道所需要的最大的栈空间，所以可以在函数执行的时候直接分配指定大小的空间不需要在函数执行的时候再去重新扩容。

def test_stack():
    a = 1
    b = 2
    return a + b

上面的代码相关字节码等信息如下所示：

code
   argcount 0
   nlocals 2
   stacksize 2
   flags 0043 0x43
   code b&#39;6401007d00006402007d01007c00007c01001753&#39;
   #					  字节码指令		 # 字节码指令参数 # 参数对应的值
 24           0 LOAD_CONST               1 (1)
              3 STORE_FAST               0 (a)

 25           6 LOAD_CONST               2 (2)
              9 STORE_FAST               1 (b)

 26          12 LOAD_FAST                0 (a)
             15 LOAD_FAST                1 (b)
             18 BINARY_ADD
             19 RETURN_VALUE
   consts
      None # 下标等于 0 的常量
      1 	 # 下标等于 1 的常量
      2		 # 下标等于 2 的常量
   names ()
   varnames (&#39;a&#39;, &#39;b&#39;)
   freevars ()
   cellvars ()

我们现在来模拟一下执行过程，在模拟之前我们首先来了解一下上面几条字节码的作用：

LOAD_CONST，将常量表当中的下标等于 i 个对象加载到栈当中，对应上面的代码 LOAD_CONST 的参数 i = 1。因此加载测常量等于 1 。因此现在栈空间如下所示：