nginx源码学习

最近在进行监控平台的设计,之前一直觉得C/C++中最棘手的部分是内存的管理上,远不止new/delete、malloc/free这么简单。随着代码量的递增,程序结构复杂度的提高。各种内存方面的问题悄然滋生。而且作为平台,后期的插件扩展在所难免。长时间运行的采集平台的特性更是提出了对稳定性的高要求。不是c#、java,没有虚拟机为你管理内存,一切都要靠自己。于是想看看nginx、python、lua这些C的经典之作在内存管理这块“要地”又是如何处理的。

先来看看nginx吧,因为网上都说nginx的内存池设计的非常精巧:

1、基本结构

先来学习一下nginx内存池的几个主要数据结构:[见:./src/core/ngx_palloc.h/.c]

ngx_pool_data_t(内存池数据块结构)

{ 2:u_char*last; 3:u_char*end; 4:ngx_pool_t*next; 5:ngx_uint_tfailed; 6: } ngx_pool_data_t;

ngx_pool_s(内存池头部结构)

1: struct ngx_pool_s { 2:ngx_pool_data_td; 3:size_tmax; 4:ngx_pool_t*current; 5:ngx_chain_t*chain; 6:ngx_pool_large_t*large; 7:ngx_pool_cleanup_t *cleanup; 8:ngx_log_t*log; 9: };

可以说,ngx_pool_data_t和ngx_pool_s基本构成了nginx内存池的主体结构,下面详细介绍一下nginx内存池的主体结构:

如上图,nginx的内存池实际是一个由ngx_pool_data_t和ngx_pool_s构成的链表,其中:

ngx_pool_data_t中:

last:是一个unsigned char 类型的指针,保存的是/当前内存池分配到末位地址,即下一次分配从此处开始。

end:内存池结束位置;

next:内存池里面有很多块内存,这些内存块就是通过该指针连成链表的,免备案空间,next指向下一块内存。

failed:内存池分配失败次数。

ngx_pool_s

d:内存池的数据块;

max:内存池数据块的最大值;

current:指向当前内存池;

chain:该指针挂接一个ngx_chain_t结构;

large:大块内存链表,即分配空间超过max的情况使用;

cleanup:释放内存池的callback

log:日志信息

以上是内存池涉及的主要数据结构,为了尽量简化,其他涉及的数据结构将在下面实际用到时候再做介绍。

2、内存池基本操作

内存池对外的主要方法有:

创建内存池ngx_pool_t * ngx_create_pool(size_t size, ngx_log_t *log);

销毁内存池void ngx_destroy_pool(ngx_pool_t *pool);

重置内存池void ngx_reset_pool(ngx_pool_t *pool);

内存申请(对齐)void * ngx_palloc(ngx_pool_t *pool, size_t size);

内存申请(不对齐)void * ngx_pnalloc(ngx_pool_t *pool, size_t size);

内存清除ngx_int_t ngx_pfree(ngx_pool_t *pool, void *p);

注:

在分析内存池方法前,香港虚拟主机,需要对几个主要的内存相关函数作一下介绍(见:./src/Os/Unix(Win32)/ngx_alloc.h/.c)

这里仅对Win32的作介绍:

ngx_alloc:(只是对malloc进行了简单的封装)

1: void *ngx_alloc(size_t size, ngx_log_t *log) 2: { 3:void *p; 4: 5:p = malloc(size); 6:if (p == NULL) { 7:ngx_log_error(NGX_LOG_EMERG, log, ngx_errno, 8:”malloc(%uz) failed”, size); 9:} 10: 11:ngx_log_debug2(NGX_LOG_DEBUG_ALLOC, log, 0, “malloc: %p:%uz”, p, size); 12: 13:return p; 14: }

ngx_calloc:(调用malloc并初始化为0)

1: void *ngx_calloc(size_t size, ngx_log_t *log) 2: { 3:void *p; 4: 5:p = ngx_alloc(size, log); 6: 7:if (p) { 8:ngx_memzero(p, size); 9:} 10: 11:return p; 12: }

ngx_memzero:

1: #define ngx_memzero(buf, n)(void) memset(buf, 0, n)

ngx_free :

1: #define ngx_freefree

ngx_memalign:

1: #define ngx_memalign(alignment, size, log) ngx_alloc(size, log)

这里alignment主要是针对部分unix平台需要动态的对齐,对POSIX 1003.1d提供的posix_memalign( )进行封装,在大多数情况下,编译器和C库透明地帮你处理对齐问题。nginx中通过宏NGX_HAVE_POSIX_MEMALIGN来控制;

2.1、内存池创建(ngx_create_pool)

ngx_create_pool用于创建一个内存池,我们创建时,传入我们的初始大小:

1: ngx_pool_t * 2: ngx_create_pool(size_t size, ngx_log_t *log) 3: { 4:ngx_pool_t *p; 5: 6:p = ngx_memalign(NGX_POOL_ALIGNMENT, size, log); 7:if (p == NULL) { 8:return NULL; 9:} 10: 11:p->d.last = (u_char *) p + sizeof(ngx_pool_t);//初始状态:last指向ngx_pool_t结构体之后数据取起始位置 12:p->d.end = (u_char *) p + size;//end指向分配的整个size大小的内存的末尾 13:p->d.next = NULL; 14:p->d.failed = 0; 15://#define NGX_MAX_ALLOC_FROM_POOL (ngx_pagesize – 1) 16://内存池最大不超过4095,x86中页的大小为4K 17:size = size – sizeof(ngx_pool_t); 18:p->max = (size < NGX_MAX_ALLOC_FROM_POOL) ? size : NGX_MAX_ALLOC_FROM_POOL; 19: 20:p->current = p; 21:p->chain = NULL; 22:p->large = NULL; 23:p->cleanup = NULL; 24:p->log = log; 25: 26:return p; 27: }

看着书里九万五千公里的绚丽。又或是和我一样,

nginx源码学习

相关文章:

你感兴趣的文章:

标签云: