如何在Python中将工作分配给一组工作线程?

千瑶同学_9804

千瑶同学_9804

2023-08-26

913人浏览

转载

如何在python中将工作分配给一组工作线程?

要在一堆工作线程之间分配工作,请使用并发.futures 模块,尤其是 ThreadPoolExecutor 类。

有了这个替代方案,如果您想精细控制调度算法,您可以手动编写自己的逻辑。使用队列模块创建包含作业列表的队列。 Queue 类维护一个对象列表,并具有将项目添加到队列的 .put(obj) 方法和返回项目的 .get() 方法。该类将负责必要的锁定,以确保每个作业只分发一次。

示例

以下是一个示例 -

CodeFlicker
CodeFlicker

CodeFlicker是一款AI开发辅助工具,快手推出的AI原生IDE编程工具。

下载
import threading, queue, time

# The worker thread gets jobs off the queue. When the queue is empty, it
# assumes there will be no more work and exits.
def worker():
   print('Running worker')
   time.sleep(0.1)
   while True:
      try:
         arg = q.get(block=False)
      except queue.Empty:
         print('Worker', threading.current_thread(), end=' ')
         print('queue empty')
         break
      else:
         print('Worker', threading.current_thread(), end=' ')
         print('running with argument', arg)
         time.sleep(0.5)

# Create a queue
q = queue.Queue()

# Start a pool of 5 workers
for i in range(5):
   t = threading.Thread(target=worker, name='worker %i' % (i+1))
   t.start()

# Begin adding work to the queue
for i in range(50):
   q.put(i)

# Give threads time to run
print('Main thread sleeping')
time.sleep(5)

输出

Running worker
Running worker
Running worker
Running worker
Running worker
Main thread sleeping
Worker  running with argument 0
Worker  running with argument 1
Worker  running with argument 2
Worker  running with argument 3
Worker  running with argument 4
Worker  running with argument 5
Worker  running with argument 6
Worker  running with argument 7
Worker  running with argument 8
Worker  running with argument 9
Worker  running with argument 10
Worker  running with argument 11
Worker  running with argument 12
Worker  running with argument 13
Worker  running with argument 14
Worker  running with argument 15
Worker  running with argument 16
Worker  running with argument 17
Worker  running with argument 18
Worker  running with argument 19
Worker  running with argument 20
Worker  running with argument 21
Worker  running with argument 22
Worker  running with argument 23
Worker  running with argument 24
Worker  running with argument 25
Worker  running with argument 26
Worker  running with argument 28
Worker  running with argument 29
Worker  running with argument 27
Worker  running with argument 30
Worker  running with argument 31
Worker  running with argument 32
Worker  running with argument 33
Worker  running with argument 34
Worker  running with argument 35
Worker  running with argument 36
Worker  running with argument 37
Worker  running with argument 38
Worker  running with argument 39
Worker  running with argument 40
Worker  running with argument 41
Worker  running with argument 42
Worker  running with argument 43
Worker  running with argument 44
Worker  running with argument 45
Worker  running with argument 46
Worker  running with argument 47
Worker  running with argument 48
Worker  running with argument 49
Worker  queue empty
Worker  queue empty
Worker  queue empty
Worker  queue empty
Worker  queue empty

Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!

相关文章

python速学教程(入门到精通)
python速学教程(入门到精通)

python怎么学习?python怎么入门?python在哪学?python怎么学才快?不用担心,这里为大家提供了python速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
堆和栈的区别
堆和栈的区别

堆和栈的区别:1、内存分配方式不同;2、大小不同;3、数据访问方式不同;4、数据的生命周期。本专题为大家提供堆和栈的区别的相关的文章、下载、课程内容,供大家免费下载体验。

2023.07.18

6427

5

堆和栈区别
堆和栈区别

堆(Heap)和栈(Stack)是计算机中两种常见的内存分配机制。它们在内存管理的方式、分配方式以及使用场景上有很大的区别。本文将详细介绍堆和栈的特点、区别以及各自的使用场景。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

2023.08.10

2688

6

线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

2023.08.10

4538

6

页面置换算法
页面置换算法

页面置换算法是操作系统中用来决定在内存中哪些页面应该被换出以便为新的页面提供空间的算法。本专题为大家提供页面置换算法的相关文章,大家可以免费体验。

2023.08.14

6536

4

Uvicorn 报错与问题解决教程
Uvicorn 报错与问题解决教程

本专题汇总了Uvicorn服务器常见问题与报错解决的教程合集,涵盖启动失败、端口占用、模块导入错误、事件循环冲突及热重载失效等典型故障的排查思路。同时整理了多进程与Worker配置、SSL/HTTPS证书报错、跨域与代理配置等实战解决方案,助你快速定位并解决Uvicorn运行中的各类问题。

2026.11.02

0

14

Uvicorn使用教程
Uvicorn使用教程

本专题汇总了Uvicorn使用教程与启动运行指南,涵盖其作为Python ASGI服务器的定位与特点,以及命令行启动(uvicorn main:app --reload)、参数配置(host/port/workers)、程序内嵌运行与Gunicorn结合部署等核心用法。同时整理了热重载调试、日志配置与生产环境部署优化等技巧,助你快速掌握Uvicorn的运行与配置。

2026.11.02

0

17

Uvicorn安装配置教程
Uvicorn安装配置教程

本专题汇总了Uvicorn的安装配置教程与部署指南,涵盖通过pip安装Uvicorn、启动FastAPI/Starlette应用、开发模式热重载(--reload)及多进程工作模式配置等核心操作。同时整理了结合Gunicorn的生产部署方案、HTTPS与反向代理配置及性能调优技巧,助你快速完成Uvicorn服务的安装与上线部署。

2026.11.02

0

17

Vite 项目如何打包和部署
Vite 项目如何打包和部署

Vite项目打包部署专题汇集生产构建、产物预览、输出目录、资源路径、Nginx与GitHub Pages部署及常见白屏和路由404问题的已审核文章,帮助读者完成上线流程。

2026.10.28

100

16

Vite 如何搭配 Vue.js
Vite 如何搭配 Vue.js

Vite搭配Vue.js专题汇集创建Vue 3项目、配置开发环境、路径别名、Vue插件、代理、多环境构建与调试的已审核文章,帮助读者完成从初始化到日常开发的配置。

2026.10.28

80

15

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
phpStudy极速入门视频教程
phpStudy极速入门视频教程

共6课时 | 54.7万人学习

独孤九贱(4)_PHP视频教程
独孤九贱(4)_PHP视频教程

共89课时 | 134.1万人学习