Heim  >  Artikel  >  Backend-Entwicklung  >  Nginx高级数据结构源码分析(四)-----内存池

Nginx高级数据结构源码分析(四)-----内存池

WBOY
WBOYOriginal
2016-07-30 13:30:16941Durchsuche

内存池的使用給Nginx带来了很多好处,比如内存使用的便利,逻辑代码的简化以及程序性能的提升。

几个关键知识点罗列如下:

(1)函数ngx_palloc()尝试从内存中分配size大小的内存时,分两种情况,一种是size大小小于pool->max,称为小块内存分配,若当前内存池节点小于size,则申请一个新的等同大小的内存池节点,然后从这个新内存池节点分配出size大小的内存空间。若size 大于pool->max时,即分配大块内存,此时调用的函数直接向操作系统申请大块内存。

(2)小块内存的申请是插入在链表的尾节点,而新的大块内存则是插入在链表前面。

(3)Nginx仅提供对大块内存的释放,没有提供对小块内存的释放,意味着从内存池分配出去的内存不会再回收到内存池里来,而只有在销毁整个内存池时,这些内存才会回收到系统内存里。

(4)ngx_pool_t中的current字段:这个字段记录了后序从该内存池分配内存的起始节点,Nginx规定当一个内存节点分配总失败次数大于等于6次时,current则指向下一个内存节点。

(5)为什么要将pool->max字段的最大值限制在一页内存,这也是小块内存与大块内存的临界,原因在于只有当分配的空间小于一页时才有缓存的必要,,否则的话还不如直接利用系统接口malloc()向操作系统申请。

各个结构体的定义:

//大块内存管理结构  
struct ngx_pool_large_s {  
    ngx_pool_large_t     *next;   //连接下一个大内存管理  
    void                 *alloc;  //申请的大内存地址  
};  
  
//内存池中数据管理  
typedef struct {  
    u_char               *last;   //可用内存的起始地址  
    u_char               *end;    //可用内存的末尾地址  
    ngx_pool_t           *next;   //指向下一个内存池节点 
    ngx_uint_t            failed; //申请时,失败的次数  
} ngx_pool_data_t;  
  
//内存池  
struct ngx_pool_s {  
    ngx_pool_data_t       d;       //存放数据  
    size_t                max;      //存放数据的可用内存大小,最大为1页  
    ngx_pool_t           *current; //指向分配内存的内存池  
    ngx_chain_t          *chain;  
    ngx_pool_large_t     *large;   //连接大内存管理结构  
    ngx_pool_cleanup_t   *cleanup;  //清理对象头  
    ngx_log_t            *log;  
};  
内存池的初始化:

//创建一个size的内存池  
ngx_pool_t *  
ngx_create_pool(size_t size, ngx_log_t *log)  
{  
    ngx_pool_t  *p;  
  
    p = ngx_memalign(NGX_POOL_ALIGNMENT, size, log);  //以对齐的方式来申请size字节内存  
    if (p == NULL) {  
        return NULL;  
    }  
  
    p->d.last = (u_char *) p + sizeof(ngx_pool_t);   //指向可用的内存起始地址  
    p->d.end = (u_char *) p + size;                  //指向可用内存的末尾地址  
    p->d.next = NULL;                                //初始时,下一个可用内存为NULL  
    p->d.failed = 0;                             //该内存申请失败零次  
  
    size = size - sizeof(ngx_pool_t);       //实际可用的大小,减去控制结构的大小  
    p->max = (size current = p;                          //指向正在分配内存的内存池  
    p->chain = NULL;  
    p->large = NULL;  
    p->cleanup = NULL;  
    p->log = log;  
  
    return p;  
}  
内存池的销毁与重置:

//销毁内存池  
void  
ngx_destroy_pool(ngx_pool_t *pool)  
{  
    ngx_pool_t          *p, *n;  
    ngx_pool_large_t    *l;  
    ngx_pool_cleanup_t  *c;  
  
    //运行清理对象的handler  
    for (c = pool->cleanup; c; c = c->next) {  
        if (c->handler) {  
            ngx_log_debug1(NGX_LOG_DEBUG_ALLOC, pool->log, 0,  
                           "run cleanup: %p", c);  
            c->handler(c->data);  
        }  
    }  
  
    //释放大内存  
    for (l = pool->large; l; l = l->next) {  
  
        ngx_log_debug1(NGX_LOG_DEBUG_ALLOC, pool->log, 0, "free: %p", l->alloc);  
  
        if (l->alloc) {  
            ngx_free(l->alloc);      //使用free释放malloc申请的内存  
        }  
    }  
  
#if (NGX_DEBUG)  
  
    /* 
     * we could allocate the pool->log from this pool 
     * so we cannot use this log while free()ing the pool 
     */  
  
    for (p = pool, n = pool->d.next; /* void */; p = n, n = n->d.next) {  
        ngx_log_debug2(NGX_LOG_DEBUG_ALLOC, pool->log, 0,  
                       "free: %p, unused: %uz", p, p->d.end - p->d.last);  
  
        if (n == NULL) {  
            break;  
        }  
    }  
  
#endif  
  
    //释放每一个申请的内存池对象ngx_pool_t  
    for (p = pool, n = pool->d.next; /* void */; p = n, n = n->d.next) {  
        ngx_free(p);  
  
        if (n == NULL) {  
            break;  
        }  
    }  
}  
  
//重设内存池  
void  
ngx_reset_pool(ngx_pool_t *pool)  
{  
    ngx_pool_t        *p;  
    ngx_pool_large_t  *l;  
  
    //释放大内存  
    for (l = pool->large; l; l = l->next) {  
        if (l->alloc) {  
            ngx_free(l->alloc);  
        }  
    }  
  
    //内存池对象,仅仅改变last的指针位置  
    for (p = pool; p; p = p->d.next) {  
        p->d.last = (u_char *) p + sizeof(ngx_pool_t);   //导致所有的内存池对象的可用内存的起始地址偏移都一样  
        p->d.failed = 0;  
    }  
  
    pool->current = pool;  
    pool->chain = NULL;  
    pool->large = NULL;  
}  
分配内存:

//分配内存(地址对齐)  
void *  
ngx_palloc(ngx_pool_t *pool, size_t size)  
{  
    u_char      *m;  
    ngx_pool_t  *p;  
  
    if (size max) {  //小内存申请时,以size为标准  
  
        p = pool->current;  
  
        do {  
            m = ngx_align_ptr(p->d.last, NGX_ALIGNMENT); //首先将d.last地址对齐  
  
            if ((size_t) (p->d.end - m) >= size) {        //可用的内存大于要申请的内存  
                p->d.last = m + size;        //直接更新d.last  
  
                return m;       //直接返回  
            }  
  
            p = p->d.next;       //否则找下一个可用的内存池对象  
  
        } while (p);  
  
        //没有找到,则要申请新的内存池对象  
        return ngx_palloc_block(pool, size);  
    }  
  
    return ngx_palloc_large(pool, size);    //大内存申请处理  
}  
  
//分配内存(地址可以不对齐)  
void *  
ngx_pnalloc(ngx_pool_t *pool, size_t size)  
{  
    u_char      *m;  
    ngx_pool_t  *p;  
  
    if (size max) {  //小内存  
  
        p = pool->current;  
  
        do {  
            m = p->d.last;  
  
            if ((size_t) (p->d.end - m) >= size) {  
                p->d.last = m + size;  
  
                return m;  
            }  
  
            p = p->d.next;  
  
        } while (p);  
  
        return ngx_palloc_block(pool, size);    //申请新内存池对象  
    }  
  
    return ngx_palloc_large(pool, size);    //大内存  
}  
小块内存分配:

//申请新的内存池对象  
static void *  
ngx_palloc_block(ngx_pool_t *pool, size_t size)  
{  
    u_char      *m;  
    size_t       psize;  
    ngx_pool_t  *p, *new;  
  
    psize = (size_t) (pool->d.end - (u_char *) pool);    //申请内存的总大小  
  
    m = ngx_memalign(NGX_POOL_ALIGNMENT, psize, pool->log);  //对齐方式申请内存  
    if (m == NULL) {  
        return NULL;  
    }  
  
    new = (ngx_pool_t *) m; //新的内存  
  
    new->d.end = m + psize;      //可用的内存的最后地址  
    new->d.next = NULL;  
    new->d.failed = 0;  
  
    m += sizeof(ngx_pool_data_t);   //只有一个ngx_pool_data_t,节省了ngx_pool_t的其余开销  
    m = ngx_align_ptr(m, NGX_ALIGNMENT);  
    new->d.last = m + size;      //可用的内存的起始地址  
      
    //如果当前申请内存的失败的次数已经有5次了,第6次,current将会指向新的内存池对象  
    for (p = pool->current; p->d.next; p = p->d.next) {  
        if (p->d.failed++ > 4) {  
            pool->current = p->d.next;  
        }  
    }  
  
    p->d.next = new; //连接刚刚申请的内存池对象  
  
    return m;  
}  
大块内存分配

//大内存申请处理  
static void *  
ngx_palloc_large(ngx_pool_t *pool, size_t size)  
{  
    void              *p;  
    ngx_uint_t         n;  
    ngx_pool_large_t  *large;  
  
    p = ngx_alloc(size, pool->log);      //直接malloc申请内存  
    if (p == NULL) {  
        return NULL;  
    }  
  
    n = 0;  
  
    for (large = pool->large; large; large = large->next) {  
        if (large->alloc == NULL) {      //如果有内存被释放了,可重用  
            large->alloc = p;      
            return p;  
        }  
  
        if (n++ > 3) {       //但是只找4次,第5次直接break,创建大内存的管理结构  
            break;  
        }  
    }  
  
    large = ngx_palloc(pool, sizeof(ngx_pool_large_t)); //从内存池对象申请内存  
    if (large == NULL) {  
        ngx_free(p);  
        return NULL;  
    }  
  
    large->alloc = p;    //指向申请的大内存  
  
    //插入large的头  
    large->next = pool->large;      
    pool->large = large;  
  
    return p;  
}  
直接分配内存:

//不管内存大小多大,向操作系统申请内存  
void *  
ngx_pmemalign(ngx_pool_t *pool, size_t size, size_t alignment)  
{  
    void              *p;  
    ngx_pool_large_t  *large;  
  
    p = ngx_memalign(alignment, size, pool->log);    //申请的内存  
    if (p == NULL) {  
        return NULL;  
    }  
  
    large = ngx_palloc(pool, sizeof(ngx_pool_large_t)); //申请一个大内存管理结构  
    if (large == NULL) {  
        ngx_free(p);  
        return NULL;  
    }  
  
    //放入到内存池ngx_pool_t中管理  
    large->alloc = p;    //指向申请的内存  
  
    //插入到头部  
    large->next = pool->large;  
    pool->large = large;  
  
    return p;  
}  
释放内存:

//释放内存  
ngx_int_t  
ngx_pfree(ngx_pool_t *pool, void *p)  
{  
    ngx_pool_large_t  *l;  
  
    //只释放大内存  
    for (l = pool->large; l; l = l->next) {  
        if (p == l->alloc) {  
            ngx_log_debug1(NGX_LOG_DEBUG_ALLOC, pool->log, 0,  
                           "free: %p", l->alloc);  
            ngx_free(l->alloc);  
            l->alloc = NULL; //置为空  
  
            return NGX_OK;  
        }  
    }  
  
    return NGX_DECLINED;  
}  

版权声明:本文为博主原创文章,未经博主允许不得转载。

以上就介绍了Nginx高级数据结构源码分析(四)-----内存池,包括了方面的内容,希望对PHP教程有兴趣的朋友有所帮助。

Stellungnahme:
Der Inhalt dieses Artikels wird freiwillig von Internetnutzern beigesteuert und das Urheberrecht liegt beim ursprünglichen Autor. Diese Website übernimmt keine entsprechende rechtliche Verantwortung. Wenn Sie Inhalte finden, bei denen der Verdacht eines Plagiats oder einer Rechtsverletzung besteht, wenden Sie sich bitte an admin@php.cn