Maison > Article > Tutoriel système > L'utilisation du pool de threads sous Linux C
L'utilisation du pool de threads sous Linux C
- WBOYavant
- 2024-02-13 11:33:27626parcourir
Rencontrez-vous souvent le problème que la charge du serveur est trop élevée et n'est pas accessible normalement ? Ensuite, vous devez comprendre un concept très important dans le pool de threads des systèmes Linux. En configurant correctement le pool de threads, vous pouvez efficacement éviter la surcharge du serveur et améliorer la stabilité et la fiabilité du système.
Le pool de threads est également une méthode de traitement multi-thread. Le thread « producteur » propose des tâches et les ajoute à la « file d'attente des tâches », puis certains threads terminent automatiquement les tâches de la « file d'attente des tâches ».
Programmation multithread, créez un thread, spécifiez-le pour terminer une certaine tâche et attendez que le thread se termine. Bien que cela puisse répondre aux besoins de programmation, lorsque nous devons créer un grand nombre de threads, une grande quantité de CPU peut être consommée lors de la création et de la destruction des threads, ce qui ajoute beaucoup de temps système. Par exemple : copie de dossier, réponse du serveur WEB.
Le pool de threads est utilisé pour résoudre un problème comme celui-ci, ce qui peut réduire les frais généraux causés par la création et la destruction fréquentes de threads.
Idée de technologie de pool de threads : généralement, une technologie de threads pré-créés est utilisée, c'est-à-dire qu'un certain nombre de threads requis sont créés à l'avance. Une fois ces threads créés à l'avance, en supposant qu'il n'y a aucune tâche dans la "file d'attente des tâches", laissez ces threads dormir. Une fois qu'il y a une tâche, réveillez le thread pour exécuter la tâche. Une fois la tâche exécutée, il n'y en a pas. Vous devez détruire le thread jusqu'à ce que vous le souhaitiez. Lors de la sortie ou de l'arrêt, à ce moment-là, vous appelez la fonction qui détruit le pool de threads pour détruire le thread.
Le fil ne sera pas détruit une fois la tâche terminée, mais exécutera automatiquement la tâche suivante. De plus, lorsqu'il y a beaucoup de tâches, vous pouvez avoir une interface fonctionnelle pour augmenter le nombre de threads. Lorsqu'il y a peu de tâches, vous pouvez avoir une interface fonctionnelle pour détruire certains threads.
Si le temps de création et de destruction des threads est négligeable par rapport au temps d'exécution des tâches, alors nous n'avons pas besoin d'utiliser un pool de threads dans ce cas.
"La file d'attente des tâches" est une ressource partagée avec un "accès mutuellement exclusif"
Le pool de threads est essentiellement une structure de données et nécessite une structure pour la décrire :
struct pthread_pool //线程池的实现
{
//一般会有如下成员
//互斥锁，用来保护这个“任务队列”
pthread_mutex_t lock; //互斥锁
//线程条件变量 表示“任务队列”是否有任务
pthread_cond_t cond; //条件变量
bool shutdown; //表示是否退出程序 bool：类型 false / true
//任务队列(链表)，指向第一个需要指向的任务
//所有的线程都从任务链表中获取任务 "共享资源"
struct task * task_list;
//线程池中有多个线程，每一个线程都有tid, 需要一个数组去保存tid
pthread_t * tids; //malloc()
//线程池中正在服役的线程数，当前线程个数
unsigned int active_threads;
//线程池任务队列最大的任务数量
unsigned int max_waiting_tasks;
//线程池任务队列上当前有多少个任务
unsigned int cur_waiting_tasks;
//......
};
//任务队列(链表)上面的任务结点，只要能够描述好一个任务就可以了，
//线程会不断地任务队列取任务
struct task //任务结点
{
// 1. 任务结点表示的任务，“函数指针”指向任务要执行的函数(cp_file)
void*(* do_task)(void * arg);
//2. 指针，指向任务指向函数的参数(文件描述符)
void * arg;
//3. 任务结点类型的指针，指向下一个任务
struct task * next;
};
Le code du framework du pool de threads est le suivant, et les fonctions sont remplies par vous-même :
Interfaces de fonctions requises pour faire fonctionner le pool de threads : pthread_pool.c, pthread_pool.h
Imaginez le « pool de threads » en tant que société d'externalisation. Ce que vous devez réaliser est d'exploiter l'interface de fonction fournie par le pool de threads.
pthread_pool.c
#include "pthread_pool.h"
/*
init_pool: 线程池初始化函数，初始化指定的线程池中有thread_num个初始线程
@pool：指针，指向您要初始化的那个线程池
@threa_num: 您要初始化的线程池中开始的线程数量
返回值：
成功 0
失败 -1
*/
int init_pool(pthread_pool * pool , unsigned int threa_num)
{
//初始化线程池的结构体
//初始化线程互斥锁
pthread_mutex_init(&pool->lock, NULL);
//初始化线程条件变量
pthread_cond_init(&pool->cond, NULL);
pool->shutdown = false ;// 不退出
pool->task_list = (struct task*)malloc(sizeof(struct task));
pool->tids = (pthread_t *)malloc(sizeof(pthread_t) * MAX_ACTIVE_THREADS);
if(pool->task_list == NULL || pool->tids == NULL)
{
perror("malloc memery error");
return -1;
}
pool->task_list->next = NULL;
//线程池中一开始初始化多少个线程来服役
pool->active_threads = threa_num;
//表示线程池中最多有多少个任务
pool->max_waiting_tasks = MAX_WAITING_TASKS;
//线程池中任务队列当前的任务数量
pool->cur_waiting_tasks = 0;
//创建thread_num个线程，并且让线程去执行任务调配函数，
//记录所有线程的tid
int i = 0;
for(i = 0; i tids)[i], NULL, routine, (void*)pool);
if(ret != 0)
{
perror("create thread error");
return -1;
}
printf("[%lu]:[%s] ===> tids[%d]:[%lu]",pthread_self(),
__FUNCTION__, i , pool->tids[i]);
}
return 0;
}
/*
routine: 任务调配函数。
所有线程开始都执行此函数，此函数会不断的从线程池的任务队列
中取下任务结点，去执行。
任务结点中包含“函数指针” h "函数参数"
*/
void * routine(void * arg)
{
//arg表示你的线程池的指针
while()
{
//获取线程互斥锁，lock
//当线程池没有结束的时候，不断地从线程池的任务队列取下结点
//去执行。
//释放线程互斥锁，unlock
//释放任务结点
}
}
/*
destroy_pool: 销毁线程池，销毁前要保证所有的任务已经完成
*/
int destroy_pool(pthread_pool * pool)
{
//释放所有空间 等待任务执行完毕(join)。
//唤醒所有线程
//利用join函数回收每一个线程资源。
}
/*
add_task：给任务队列增加任务， 把do_task指向的任务(函数指针)和
arg指向的参数保存到一个任务结点，添加到pool任务队列中。
@pool : 您要添加任务的线程池
@do_task ： 您需要添加的任务(cp_file)
@arg： 您要执行的任务的参数(文件描述符)
*/
int add_task(pthread_pool *pool,void*(* do_task)(void * arg), void*arg)
{
//把第二个参数和第三个参数封装成struct task
//再把它添加到 pool->task 任务队列中去
//注意任务队列是一个共享资源
//假如任务后要唤醒等待的线程。
}
//如果任务多的时候，往线程池中添加线程 pthread_create
int add_threads(pthread_pool * pool, unsigned int num);
{
//新创建num个线程，让每一个线程去执行线程调配函数
//将每一个新创建的线程tid，添加到pool-> tids
}
//如果任务少的时候，减少线程池中线程的数量 pthread_cancel join
int remove_threads(pthread_pool * pool, unsigned int num)
{
//用pthread_cancel取消num个线程
//利用pthread_join函数去回收资源。
}
pthread_pool.h
#ifndef __PTHREAD_POOL_H__
#define __PTHREAD_POOL_H__
//表示线程池中最多有多少个线程
#define MAX_ACTIVE_THREADS 20
//表示线程池中最多有多少个任务
#define MAX_WAITING_TASKS 1024
//任务队列(链表)上面的任务结点，只要能够描述好一个任务就可以了，
//线程会不断地任务队列取任务
struct task //任务结点
{
// 1. 任务结点表示的任务，“函数指针”指向任务要执行的函数(cp_file)
void*(* do_task)(void * arg);
//2. 指针，指向任务指向函数的参数(文件描述符)
void * arg;
//3. 任务结点类型的指针，指向下一个任务
struct task * next;
};
struct pthread_pool //线程池的实现
{
//一般会有如下成员
//互斥锁，用来保护这个“任务队列”
pthread_mutex_t lock; //互斥锁
//线程条件变量 表示“任务队列”是否有任务
pthread_cond_t cond; //条件变量
bool shutdown; //表示是否退出程序 bool：类型 false / true
//任务队列(链表)，指向第一个需要指向的任务
//所有的线程都从任务链表中获取任务 "共享资源"
struct task * task_list;
//线程池中有多个线程，每一个线程都有tid, 需要一个数组去保存tid
pthread_t * tids; //malloc()
//线程池中正在服役的线程数，当前线程个数
unsigned int active_threads;
//线程池任务队列最大的任务数量
unsigned int max_waiting_tasks;
//线程池任务队列上当前有多少个任务
unsigned int cur_waiting_tasks;
//......
};
/*
init_pool: 线程池初始化函数，初始化指定的线程池中有thread_num
个初始线程
@pool：指针，指向您要初始化的那个线程池
@threa_num: 您要初始化的线程池中开始的线程数量
返回值：
成功 0
失败 -1
*/
int init_pool(pthread_pool * pool , unsigned int threa_num);
/*
routine: 任务调配函数。
所有线程开始都执行此函数，此函数会不断的从线程池的任务队列
中取下任务结点，去执行。
任务结点中包含“函数指针” h "函数参数"
*/
void * routine(void * arg);
/*
destroy_pool: 销毁线程池，销毁前要保证所有的任务已经完成
*/
int destroy_pool(pthread_pool * pool);
/*
add_task：给任务队列增加任务， 把do_task指向的任务(函数指针)和
arg指向的参数保存到一个任务结点，添加到pool任务队列中。
@pool : 您要添加任务的线程池
@do_task ： 您需要添加的任务(cp_file)
@arg： 您要执行的任务的参数(文件描述符)
*/
int add_task(pthread_pool *pool,void*(* do_task)(void * arg), void*arg);
//如果任务多的时候，往线程池中添加线程 pthread_create
int add_threads(pthread_pool * pool, unsigned int num);
//如果任务少的时候，减少线程池中线程的数量 pthread_cancel join
int remove_threads(pthread_pool * pool, unsigned int num);
#endif
Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!