最近在进行监控平台的设计,之前一直觉得C/C++中最棘手的部分是内存的管理上,远不止new/delete、malloc/free这么简单。随着代码量的递增,程序结构复杂度的提高。各种内存方面的问题悄然滋生。而且作为平台,后期的插件扩展在所难免。长时间运行的采集平台的特性更是提出了对稳定性的高要求。不是c#、java,没有虚拟机为你管理内存,一切都要靠自己。于是想看看nginx、python、lua这些C的经典之作在内存管理这块“要地”又是如何处理的。
先来看看nginx吧,因为网上都说nginx的内存池设计的非常精巧:
1、基本结构
先来学习一下nginx内存池的几个主要数据结构:[见:./src/core/ngx_palloc.h/.c]
ngx_pool_data_t(内存池数据块结构)
{ 2:u_char*last; 3:u_char*end; 4:ngx_pool_t*next; 5:ngx_uint_tfailed; 6: } ngx_pool_data_t;
ngx_pool_s(内存池头部结构)
1: struct ngx_pool_s { 2:ngx_pool_data_td; 3:size_tmax; 4:ngx_pool_t*current; 5:ngx_chain_t*chain; 6:ngx_pool_large_t*large; 7:ngx_pool_cleanup_t *cleanup; 8:ngx_log_t*log; 9: };
可以说,ngx_pool_data_t和ngx_pool_s基本构成了nginx内存池的主体结构,下面详细介绍一下nginx内存池的主体结构:
如上图,nginx的内存池实际是一个由ngx_pool_data_t和ngx_pool_s构成的链表,其中:
ngx_pool_data_t中:
last:是一个unsigned char 类型的指针,保存的是/当前内存池分配到末位地址,即下一次分配从此处开始。
end:内存池结束位置;
next:内存池里面有很多块内存,这些内存块就是通过该指针连成链表的,免备案空间,next指向下一块内存。
failed:内存池分配失败次数。
ngx_pool_s
d:内存池的数据块;
max:内存池数据块的最大值;
current:指向当前内存池;
chain:该指针挂接一个ngx_chain_t结构;
large:大块内存链表,即分配空间超过max的情况使用;
cleanup:释放内存池的callback
log:日志信息
以上是内存池涉及的主要数据结构,为了尽量简化,其他涉及的数据结构将在下面实际用到时候再做介绍。
2、内存池基本操作
内存池对外的主要方法有:
创建内存池ngx_pool_t * ngx_create_pool(size_t size, ngx_log_t *log);
销毁内存池void ngx_destroy_pool(ngx_pool_t *pool);
重置内存池void ngx_reset_pool(ngx_pool_t *pool);
内存申请(对齐)void * ngx_palloc(ngx_pool_t *pool, size_t size);
内存申请(不对齐)void * ngx_pnalloc(ngx_pool_t *pool, size_t size);
内存清除ngx_int_t ngx_pfree(ngx_pool_t *pool, void *p);
注:
在分析内存池方法前,香港虚拟主机,需要对几个主要的内存相关函数作一下介绍(见:./src/Os/Unix(Win32)/ngx_alloc.h/.c)
这里仅对Win32的作介绍:
ngx_alloc:(只是对malloc进行了简单的封装)
1: void *ngx_alloc(size_t size, ngx_log_t *log) 2: { 3:void *p; 4: 5:p = malloc(size); 6:if (p == NULL) { 7:ngx_log_error(NGX_LOG_EMERG, log, ngx_errno, 8:”malloc(%uz) failed”, size); 9:} 10: 11:ngx_log_debug2(NGX_LOG_DEBUG_ALLOC, log, 0, “malloc: %p:%uz”, p, size); 12: 13:return p; 14: }
ngx_calloc:(调用malloc并初始化为0)
1: void *ngx_calloc(size_t size, ngx_log_t *log) 2: { 3:void *p; 4: 5:p = ngx_alloc(size, log); 6: 7:if (p) { 8:ngx_memzero(p, size); 9:} 10: 11:return p; 12: }
ngx_memzero:
1: #define ngx_memzero(buf, n)(void) memset(buf, 0, n)
ngx_free :
1: #define ngx_freefree
ngx_memalign:
1: #define ngx_memalign(alignment, size, log) ngx_alloc(size, log)
这里alignment主要是针对部分unix平台需要动态的对齐,对POSIX 1003.1d提供的posix_memalign( )进行封装,在大多数情况下,编译器和C库透明地帮你处理对齐问题。nginx中通过宏NGX_HAVE_POSIX_MEMALIGN来控制;
2.1、内存池创建(ngx_create_pool)
ngx_create_pool用于创建一个内存池,我们创建时,传入我们的初始大小:
1: ngx_pool_t * 2: ngx_create_pool(size_t size, ngx_log_t *log) 3: { 4:ngx_pool_t *p; 5: 6:p = ngx_memalign(NGX_POOL_ALIGNMENT, size, log); 7:if (p == NULL) { 8:return NULL; 9:} 10: 11:p->d.last = (u_char *) p + sizeof(ngx_pool_t);//初始状态:last指向ngx_pool_t结构体之后数据取起始位置 12:p->d.end = (u_char *) p + size;//end指向分配的整个size大小的内存的末尾 13:p->d.next = NULL; 14:p->d.failed = 0; 15://#define NGX_MAX_ALLOC_FROM_POOL (ngx_pagesize – 1) 16://内存池最大不超过4095,x86中页的大小为4K 17:size = size – sizeof(ngx_pool_t); 18:p->max = (size < NGX_MAX_ALLOC_FROM_POOL) ? size : NGX_MAX_ALLOC_FROM_POOL; 19: 20:p->current = p; 21:p->chain = NULL; 22:p->large = NULL; 23:p->cleanup = NULL; 24:p->log = log; 25: 26:return p; 27: }
看着书里九万五千公里的绚丽。又或是和我一样,