Python에서 약한 참조를 사용하는 방법

Background

약한 참조(weakref)에 대해 논의하기 전에 먼저 약한 참조가 무엇인지 살펴보겠습니다. 정확히 어떤 역할을 하나요?

애플리케이션 데이터를 동시에 처리하는 멀티 스레드 프로그램이 있다고 가정해 보겠습니다.

# 占用大量资源，创建销毁成本很高\
class Data:\
    def __init__(self, key):\
        pass

애플리케이션 데이터 데이터는 키로 고유하게 식별되며 동일한 데이터는 여러 스레드에서 동시에 액세스할 수 있습니다. 데이터는 많은 시스템 리소스를 필요로 하기 때문에 생성 및 소비 비용이 높습니다. Data는 프로그램에서 하나의 복사본만 유지하고 동시에 여러 스레드에서 액세스하더라도 반복적으로 생성하지 않기를 바랍니다.

이를 위해 우리는 캐싱 미들웨어 Cacher를 설계하려고 합니다.

import threading
# 数据缓存
class Cacher:
    def __init__(self):
        self.pool = {}
        self.lock = threading.Lock()
    def get(self, key):
        with self.lock:
            data = self.pool.get(key)
            if data:
                return data
            self.pool[key] = data = Data(key)
            return data

Cacher는 내부적으로 dict 개체를 사용하여 생성된 Data 복사본을 캐시하고 애플리케이션 데이터 Data를 얻기 위한 get 메서드를 제공합니다. get 메소드는 데이터를 얻을 때 먼저 캐시 사전을 확인하고, 데이터가 이미 존재하면 직접 반환하고, 데이터가 없으면 생성하여 사전에 저장합니다. 따라서 데이터는 처음 생성된 후에 캐시 사전에 입력됩니다. 나중에 다른 스레드가 동시에 해당 데이터에 액세스하면 캐시에 있는 동일한 복사본이 사용됩니다.

기분이 아주 좋아요! 하지만 문제는 Cacher가 자원 유출의 위험이 있다는 것입니다!

한번 생성된 데이터는 캐시 사전에 저장되며 절대 공개되지 않기 때문이죠! 즉, 메모리와 같은 프로그램의 리소스는 계속 증가하여 결국 폭발할 수 있습니다. 따라서 우리는 모든 스레드가 더 이상 해당 데이터에 액세스하지 않으면 데이터 조각이 자동으로 해제될 수 있기를 바랍니다.

Cacher에서 데이터 참조 수를 유지할 수 있으며 get 메소드는 이 수를 자동으로 누적합니다. 동시에, 데이터 해제를 위한 새로운 제거 메소드가 제공됩니다. 이는 먼저 참조 수를 줄이고 참조 수가 0으로 떨어지면 캐시 필드에서 데이터를 삭제합니다.

스레드는 데이터를 얻기 위해 get 메소드를 호출합니다. 데이터를 모두 사용한 후에는 제거 메소드를 호출하여 데이터를 해제해야 합니다. Cacher는 참조 카운팅 방법 자체를 구현하는 것과 동일하며 이는 너무 번거롭습니다! Python에는 가비지 수집 메커니즘이 내장되어 있지 않나요? 애플리케이션이 이를 자체적으로 구현해야 하는 이유는 무엇입니까?

충돌의 주요 핵심은 Cacher의 캐시 사전에 있습니다. 미들웨어로서 데이터 개체 자체를 사용하지 않으므로 이론적으로 데이터에 대한 참조가 없어야 합니다. 참조를 생성하지 않고 대상 객체를 찾을 수 있는 블랙 기술이 있습니까? 우리는 과제가 참조를 생성한다는 것을 알고 있습니다!

일반적인 사용법

이때, 약한 참조(weakref)가 멋지게 등장합니다! 약한 참조는 참조를 생성하지 않고 대상 개체와 연결할 수 있는 특수 개체입니다.

# 创建一个数据
>>> d = Data('fasionchan.com')
>>> d
<__main__.Data object at 0x1018571f0>

# 创建一个指向该数据的弱引用
>>> import weakref
>>> r = weakref.ref(d)

# 调用弱引用对象，即可找到指向的对象
>>> r()
<__main__.Data object at 0x1018571f0>
>>> r() is d
True

# 删除临时变量d，Data对象就没有其他引用了，它将被回收
>>> del d
# 再次调用弱引用对象，发现目标Data对象已经不在了（返回None）
>>> r()

이런 식으로 약한 참조를 저장하기 위해 Cacher 캐시 사전만 변경하면 문제가 해결됩니다!

import threading
import weakref
# 数据缓存
class Cacher:
    def __init__(self):
        self.pool = {}
        self.lock = threading.Lock()
    def get(self, key):
        with self.lock:
            r = self.pool.get(key)
            if r:
                data = r()
                if data:
                    return data
            data = Data(key)
            self.pool[key] = weakref.ref(data)
            return data

캐시 ​​사전은 데이터 개체에 대한 약한 참조만 저장하므로 Cacher는 데이터 개체의 참조 횟수에 영향을 미치지 않습니다. 모든 스레드가 데이터 사용을 마치면 참조 횟수가 0으로 떨어지고 해제됩니다.

사실 사전을 사용하여 데이터 객체를 캐시하는 것은 매우 일반적입니다. 이러한 이유로 약한 참조 모듈은 약한 참조만 저장하는 두 개의 사전 객체도 제공합니다:

• weakref.WeakKeyDictionary, 키는 매핑 클래스만 저장합니다. 약한 참조(키에 더 이상 강력한 참조가 없으면 키-값 쌍 항목이 자동으로 사라집니다.)

• weakref.WeakValueDictionary, 값은 약한 참조의 매핑 클래스만 저장합니다(값이 더 이상 강한 참조를 사용하면 키-값 쌍 항목이 자동으로 사라집니다.)

따라서 우리의 데이터 캐시 사전은weakref.WeakValueDictionary를 사용하여 구현할 수 있으며 해당 인터페이스는 일반 사전과 완전히 동일합니다. 이런 방식으로 우리는 더 이상 약한 참조 개체를 스스로 유지할 필요가 없으며 코드 논리가 더 간결하고 명확해집니다.

import threading
import weakref
# 数据缓存
class Cacher:
    def __init__(self):
        self.pool = weakref.WeakValueDictionary()
        self.lock = threading.Lock()
    def get(self, key):
        with self.lock:
            data = self.pool.get(key)
            if data:
                return data
            self.pool[key] = data = Data(key)
            return data

weakref 모듈에는 유용한 도구 클래스와 도구 기능도 많이 포함되어 있습니다. 구체적인 내용은 공식 문서를 참조하세요. 자세한 내용은 여기서 반복하지 않겠습니다.

작동 원리

그럼 약한 참조자는 정확히 누구이며, 왜 그런 마법의 힘을 가지고 있을까요? 다음은 베일을 벗고 실제 모습을 살펴보겠습니다!

>>> d = Data('fasionchan.com')

# weakref.ref 是一个内置类型对象
>>> from weakref import ref
>>> ref
<class &#39;weakref&#39;>

# 调用weakref.ref类型对象，创建了一个弱引用实例对象
>>> r = ref(d)
>>> r
<weakref at 0x1008d5b80; to &#39;Data&#39; at 0x100873d60>

이전 장 이후 우리는 이미 내장 객체의 소스 코드를 읽는 것에 익숙합니다. 관련 소스 코드 파일은 다음과 같습니다.

• Include/weakrefobject.h 헤더 파일에는 객체 구조와 일부가 포함되어 있습니다. 매크로 정의;

• Objects/weakrefobject .c 소스 파일에는 약한 참조 유형 개체와 해당 메서드 정의가 포함되어 있습니다.

먼저 10행에 정의된 약한 참조 개체의 필드 구조를 살펴보겠습니다. -41 in the include/weakrefobject.h 헤더 파일:

typedef struct _PyWeakReference PyWeakReference;

/* PyWeakReference is the base struct for the Python ReferenceType, ProxyType,
 * and CallableProxyType.
 */
#ifndef Py_LIMITED_API
struct _PyWeakReference {
    PyObject_HEAD

    /* The object to which this is a weak reference, or Py_None if none.
     * Note that this is a stealth reference:  wr_object's refcount is
     * not incremented to reflect this pointer.
     */
    PyObject *wr_object;

    /* A callable to invoke when wr_object dies, or NULL if none. */
    PyObject *wr_callback;

    /* A cache for wr_object's hash code.  As usual for hashes, this is -1
     * if the hash code isn't known yet.
     */
    Py_hash_t hash;

    /* If wr_object is weakly referenced, wr_object has a doubly-linked NULL-
     * terminated list of weak references to it.  These are the list pointers.
     * If wr_object goes away, wr_object is set to Py_None, and these pointers
     * have no meaning then.
     */
    PyWeakReference *wr_prev;
    PyWeakReference *wr_next;
};
#endif

PyWeakReference 구조가 약한 참조 객체의 물리적 몸체임을 알 수 있습니다. 고정 헤더 외에 5개의 필드가 있는 고정 길이 객체입니다.

• wr_object , 객체 포인터, 참조된 객체를 가리키는 약한 참조는 이 필드를 기반으로 참조된 객체를 찾을 수 있지만 그렇지 않습니다.

• wr_callback, 참조된 객체가 소멸될 때 호출되는 호출 가능한 객체를 가리킵니다.

• hash ，缓存被引用对象的哈希值；

• wr_prev 和 wr_next 分别是前后向指针，用于将弱引用对象组织成双向链表；

结合代码中的注释，我们知道：

• 弱引用对象通过 wr_object 字段关联被引用的对象，如上图虚线箭头所示；

• 一个对象可以同时被多个弱引用对象关联，图中的 Data 实例对象被两个弱引用对象关联；

• 所有关联同一个对象的弱引用，被组织成一个双向链表，链表头保存在被引用对象中，如上图实线箭头所示；

• 当一个对象被销毁后，Python 将遍历它的弱引用链表，逐一处理：

• 
  

• 将 wr_object 字段设为 None ，弱引用对象再被调用将返回 None ，调用者便知道对象已经被销毁了；

• 执行回调函数 wr_callback （如有）；

由此可见，弱引用的工作原理其实就是设计模式中的 观察者模式（ Observer ）。当对象被销毁，它的所有弱引用对象都得到通知，并被妥善处理。

实现细节

掌握弱引用的基本原理，足以让我们将其用好。如果您对源码感兴趣，还可以再深入研究它的一些实现细节。

前面我们提到，对同一对象的所有弱引用，被组织成一个双向链表，链表头保存在对象中。由于能够创建弱引用的对象类型是多种多样的，很难由一个固定的结构体来表示。因此，Python 在类型对象中提供一个字段 tp_weaklistoffset ，记录弱引用链表头指针在实例对象中的偏移量。

由此一来，对于任意对象 o ，我们只需通过 ob_type 字段找到它的类型对象 t ，再根据 t 中的 tp_weaklistoffset 字段即可找到对象 o 的弱引用链表头。

Python 在 Include/objimpl.h 头文件中提供了两个宏定义：

/* Test if a type supports weak references */
#define PyType_SUPPORTS_WEAKREFS(t) ((t)->tp_weaklistoffset > 0)

#define PyObject_GET_WEAKREFS_LISTPTR(o) \
    ((PyObject **) (((char *) (o)) + Py_TYPE(o)->tp_weaklistoffset))

• PyType_SUPPORTS_WEAKREFS 用于判断类型对象是否支持弱引用，仅当 tp_weaklistoffset 大于零才支持弱引用，内置对象 list 等都不支持弱引用；

• PyObject_GET_WEAKREFS_LISTPTR 用于取出一个对象的弱引用链表头，它先通过 Py_TYPE 宏找到类型对象 t ，再找通过 tp_weaklistoffset 字段确定偏移量，最后与对象地址相加即可得到链表头字段的地址；

我们创建弱引用时，需要调用弱引用类型对象 weakref 并将被引用对象 d 作为参数传进去。弱引用类型对象 weakref 是所有弱引用实例对象的类型，是一个全局唯一的类型对象，定义在 Objects/weakrefobject.c 中，即：_PyWeakref_RefType（第 350 行）。

根据对象模型中学到的知识，Python 调用一个对象时，执行的是其类型对象中的 tp_call 函数。因此，调用弱引用类型对象 weakref 时，执行的是 weakref 的类型对象，也就是 type 的 tp_call 函数。tp_call 函数则回过头来调用 weakref 的 tp_new 和 tp_init 函数，其中 tp_new 为实例对象分配内存，而 tp_init 则负责初始化实例对象。

回到 Objects/weakrefobject.c 源文件，可以看到 PyWeakref_RefType 的 tp_new 字段被初始化成 *weakref___new_*  （第 276 行）。该函数的主要处理逻辑如下：

• 解析参数，得到被引用的对象（第 282 行）；

• 调用 PyType_SUPPORTS_WEAKREFS 宏判断被引用的对象是否支持弱引用，不支持就抛异常（第 286 行）；

• 调用 GET_WEAKREFS_LISTPTR 行取出对象的弱引用链表头字段，为方便插入返回的是一个二级指针（第 294 行）；

• 调用 get_basic_refs 取出链表最前那个 callback 为空 基础弱引用对象（如有，第 295 行）；

• 如果 callback 为空，而且对象存在 callback 为空的基础弱引用，则复用该实例直接将其返回（第 296 行）；

• 如果不能复用，调用 tp_alloc 函数分配内存、完成字段初始化，并插到对象的弱引用链表（第 309 行）；

• 
  

• 콜백이 비어 있으면 후속 재사용을 용이하게 하기 위해 연결 목록 앞에 직접 삽입합니다(포인트 4 참조).

• 콜백이 비어 있지 않으면 기본 약한 참조 개체에 삽입합니다( 있는 경우) 그 후, 쉽게 접근할 수 있도록 기본 약한 참조가 연결 목록의 헤드에 있는지 확인하세요.

객체가 재활용되면 tp_dealloc 함수는 PyObject_ClearWeakRefs 함수를 호출하여 약한 참조를 정리합니다. . 이 함수는 객체의 약한 참조 목록을 가져온 다음 하나씩 순회하고 wr_object 필드를 정리하고 wr_callback 콜백 함수(있는 경우)를 실행합니다. 구체적인 세부 사항은 확장되지 않습니다. 관심이 있으시면 880행에 있는 Objects/weakrefobject.c에서 소스 코드를 확인하실 수 있습니다.

좋아요, 이 섹션을 공부한 후 약한 참조와 관련된 지식을 완전히 마스터했습니다. 약한 참조는 참조 횟수를 생성하지 않고 대상 개체를 관리할 수 있으며 프레임워크 및 미들웨어에서 자주 사용됩니다. 약한 참조는 마술처럼 보이지만 사실 디자인 원리는 매우 단순한 관찰자 패턴입니다. 약한 참조 객체가 생성된 후 대상 객체가 관리하는 연결 목록에 삽입되고 해당 객체의 소멸 이벤트가 관찰(구독)됩니다.

위 내용은 Python에서 약한 참조를 사용하는 방법의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!