search
HomeBackend DevelopmentPython Tutorialpython下同样代码,多核多线程为什么比单核多线程慢很多?

有一个疑问:python的多线程性能问题,本来以为是GIL的竞争导致的多线程下特别慢。但是在单cpu上的多线程性能下降并不明显,但是同样的代码到了多核上之后,性能下降特别明显。那么在多核下的多线程性能明显下降的原因是cpu的频繁切换导致的么? 主要问题应该是:【多CPU之间的频繁切换会有消耗么?】
【备注】:已经明白了为什么需要GIL以及GIL导致的同一时间只能执行一个线程。想问的问题是python在多cpu之间的执行细节。

回复内容:

python 由于有全局解释器锁,线程不支持多cpu。如果想支持多cpu,请用多进程。

Python的GIL
  • CPython的线程是操作系统的原生线程。在Linux上为pthread,在Windows上为Win thread,完全由操作系统调度线程的执行。一个python解释器进程内有一条主线程,以及多条用户程序的执行线程。即使在多核CPU平台上,由于GIL的存在,所以禁止多线程的并行执行。
  • Python解释器进程内的多线程是合作多任务方式执行。当一个线程遇到I/O任务时,将释放GIL。计算密集型(CPU-bound)的线程在执行大约100次解释器的计步(ticks)时,将释放GIL。计步(ticks)可粗略看作Python虚拟机的指令。计步实际上与时间片长度无关。可以通过sys.setcheckinterval()设置计步长度。
  • 在单核CPU上,数百次的间隔检查才会导致一次线程切换。在多核CPU上,存在严重的线程颠簸(thrashing)。
  • Python 3.2开始使用新的GIL。在新的GIL实现中,用一个固定的超时时间来指示当前的线程放弃全局锁。在当前线程保持这个锁,且其他线程请求这个锁的时候,当前线程就会在5ms后被强制释放掉这个锁。
  • 可以创建独立的进程来实现并行化。Python 2.6引进了multiprocessing这个多进程包。或者把关键部分用C/C++写成 Python 扩展,通过cytpes使Python程序直接调用C语言编译的动态库的导出函数。
最近摸索出一个新办法绕过gil限制:使用python里面的qt库(叫pyqt),qthread类创建以后,会在下层调用c++的qt库创建线程。python gil的规则是进入其他语言代码编写的库前会释放gil,因此在qthread的run函数(新线程的主函数)里面是另外一个新开的python.exe线程,不受gil限制。 自己研究了一下:多核多线程比单核多线程更差,原因是单核下多线程,每次释放GIL,唤醒的那个线程都能获取到GIL锁,所以能够无缝执行,但多核下,CPU0释放GIL后,其他CPU上的线程都会进行竞争,但GIL可能会马上又被CPU0拿到,导致其他几个CPU上被唤醒后的线程会醒着等待直到切换时间结束后又进入待调度状态,导致线程颠簸,降低了系统效率。不知道这样解释对不对。望有人能指正
Statement
The content of this article is voluntarily contributed by netizens, and the copyright belongs to the original author. This site does not assume corresponding legal responsibility. If you find any content suspected of plagiarism or infringement, please contact admin@php.cn
核心数和线程数是什么意思核心数和线程数是什么意思Sep 01, 2022 pm 04:52 PM

核心数指的是CPU内核数量,表示一个CPU由多少个核心组成;cpu核心是CPU的重要组成部件,在内核频率、缓存大小等条件相同的情况下,CPU核心数量越多,CPU的整体性能越强。线程数是一种逻辑的概念,简单地说,就是模拟出的CPU核心数。CPU之所以要增加线程数,是源于多任务处理的需要;线程数越多,越有利于同时运行多个程序,因为线程数等同于在某个瞬间CPU能同时并行处理的任务数。

多核和单核的区别是什么多核和单核的区别是什么Aug 02, 2022 pm 02:04 PM

区别:1、单核就是CPU集成了一个运算核心,多核就是CPU集成了两个或多个运算核心;2、单核能同时运行的线程数较多核更少,不利于同时运行多个程序,而多核有利于同时运行多个程序;3、单核的执行速度较多核更慢,容易造成卡顿;4、多核的多任务处理效率比单核高;5、多核的性能比单核高,散热量、耗电量也比单核大;6、单核多用于部分要求轻薄、待机时间长、而对性能要求不高的笔记本电脑上。

cpu温度高是什么原因引起的cpu温度高是什么原因引起的Nov 28, 2022 am 10:25 AM

cpu温度高的原因:1、散热不良;2、机器内灰尘过多也会引起死机故障;3、内存条故障;4、CPU超频;5、 硬盘故障;6、软硬件不兼容;7、驱动程序安装有误;8、应用软件的缺陷;9、病毒感染;10、启动的程序太多;11、用非法格式或参数非法打开或释放有关程序;12、误删除了系统文件;13、CMOS设置不当。

12核16线程是什么意思12核16线程是什么意思Aug 24, 2022 am 11:45 AM

12核16线程指的是CPU中有12个内核,CPU的线程是16个,最多可以模拟16个核心;CPU的核心是运算器和控制器,多核可以增强并行处理能力,线程是进程中某个单一顺序的控制流,在单个程序中同时运行多个线程完成不同的工作,称为多线程。

cpu长期100度会烧吗cpu长期100度会烧吗Feb 20, 2023 am 11:14 AM

cpu长期100度是会烧的;cpu的温度达到100度,短时间不会烧坏,只是会影响到CPU的运算效率,但是长时间保持100度就会出现烧坏硬件的情况;发热量由CPU的功率决定,而功率又和电压成正比,因此要控制好温度就要控制好CPU的核心电压。

cpu能直接存取内存储器上的数据吗cpu能直接存取内存储器上的数据吗Nov 25, 2022 pm 02:02 PM

能直接存取。内存储器又称内存,是外存与CPU进行沟通的桥梁,计算机中所有程序的运行都是在内存中进行。内存的作用是用于暂时存放CPU中的运算数据,以及与硬盘等外部存储器交换的数据。只要计算机运行,操作系统就会把需要运算的数据从内存调到CPU中进行运算;当运算完成后,CPU再将结果传送出来,内存的运行也决定了计算机的稳定运行。

cpu温度过高会导致什么情况cpu温度过高会导致什么情况Feb 01, 2023 am 10:53 AM

cpu温度过高导致的影响:1、CPU有自我保护功能,CPU过高会自动开启保护系统,降低电脑运行速率,系统越来越慢,直至死机,反复重启;2、长时间高温(长时间85度以上),CPU的自我保护功能可能失效,会烧坏CPU;3、自动关机,且关机之后,温度未降低之前无法开机。

cpu封装温度是什么cpu封装温度是什么Feb 01, 2023 pm 03:02 PM

cpu封装温度指的是表面CPU温度,就是说从表面CPU层的温度,一般还有内核温度,相差的度数不大;中央处理器温度是指CPU外壳温度,核心温度就是CPU内核的温度;一般核心温度和封装温度是接近的,cpu表面温度比后面者低不少。

See all articles

Hot AI Tools

Undresser.AI Undress

Undresser.AI Undress

AI-powered app for creating realistic nude photos

AI Clothes Remover

AI Clothes Remover

Online AI tool for removing clothes from photos.

Undress AI Tool

Undress AI Tool

Undress images for free

Clothoff.io

Clothoff.io

AI clothes remover

AI Hentai Generator

AI Hentai Generator

Generate AI Hentai for free.

Hot Article

R.E.P.O. Energy Crystals Explained and What They Do (Yellow Crystal)
2 weeks agoBy尊渡假赌尊渡假赌尊渡假赌
Repo: How To Revive Teammates
1 months agoBy尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island Adventure: How To Get Giant Seeds
4 weeks agoBy尊渡假赌尊渡假赌尊渡假赌

Hot Tools

Zend Studio 13.0.1

Zend Studio 13.0.1

Powerful PHP integrated development environment

Atom editor mac version download

Atom editor mac version download

The most popular open source editor

ZendStudio 13.5.1 Mac

ZendStudio 13.5.1 Mac

Powerful PHP integrated development environment

SublimeText3 Mac version

SublimeText3 Mac version

God-level code editing software (SublimeText3)

Dreamweaver Mac version

Dreamweaver Mac version

Visual web development tools