高效线程池之无锁化实现(Linux C)

为解决无锁化的问题,需要避免共享资源的竞争,因此将共享工作队列加以拆分成每工作线程一个工作队列的方式。对于主线程放入工作和工作线程取出任务的竞争问题,可以采取环形队列的方式避免。在解决了锁机制之后,就只剩下条件变量的问题了,条件变量本身即解决条件满足时的线程通信问题,而信号作为一种通信方式,可以代替之,其大体编程范式为:

sigemptyset(&zeromask);sigemptyset(&newmask);sigaddset(&newmask, SIGXX);sigprocmask(SIG_BLOCK, &newmask, &oldmask) ;while (!CONDITION)sigsuspend(&zeromask);sigprocmask(SIG_SETMASK, &oldmask, NULL) 3.无锁化线程池具体实现

在无锁线程池中,区别于常见线程池的地方主要在于信号与条件变量、任务调度算法、增加或减少线程数目后的任务迁移,另外还有一点就是环形队列的实现参考了Linux内核中的kfifo实现。

(1)信号与条件变量

信号与条件变量的区别主要在于条件变量的唤醒(signal)对于接收线程而言可以忽略,而在未设置信号处理函数的情况下信号的接收会导致接收线程甚至整个程序的终止,因此需要在线程池产生线程之前指定信号处理函数,这样新生的线程会继承这个信号处理函数。多线程中信号的发送主要采用pthread_kill,为避免使用其他信号,本程序中使用了SIGUSR1。

(2)任务调度算法

常见线程池实现的任务调度主要在操作系统一级通过线程调度实现。考虑到负载均衡,主线程放入任务时应采取合适的任务调度算法将任务放入对应的工作者线程队列,本程序目前已实现Round-Robin和Least-Load算法。Round-Robin即轮询式地分配工作,Least-Load即选择当前具有最少工作的工作者线程放入。

(3)任务迁移

在线程的动态增加和减少的过程中,同样基于负载均衡的考量,涉及到现有任务的迁移问题。由于工作队列采取环形队列的形式,任务的取出应由工作者线程完成,主线程不能实时取出工作,故在线程的动态增加时的任务迁移尚未有比较好的解决办法,只能通过线程增加后的任务调度算法实现。在线程的动态减少后,原先线程上未能执行完的任务由主线程再次根据任务调度算法重新分配至其他存活的工作者线程队列中。

(4)环形队列

源码中环形队列实现主要参考了Linux内核中kfifo的实现,如下图所示:

队列长度为2的整次幂,out和in下标一直递增至越界后回转,其类型为unsigned int,即out指针一直追赶in指针,,out和in映射至FiFo的对应下标处,其间的元素即为队列元素。

以上主要是一些方案性的说明,至于具体细节的实现有兴趣的读者可以参考https://github.com/xhjcehust/LFTPool,有问题欢迎随时联系讨论,笔者正值找工作季,求fork,求拍砖!!!

人生最好的旅行,就是你在一个陌生的地方,

高效线程池之无锁化实现(Linux C)

相关文章:

你感兴趣的文章:

标签云: