使用Python性能优化技巧的总结-Python教程-PHP中文网

首页

后端开发

Python教程

使用Python性能优化技巧的总结

高洛峰

Mar 23, 2017 pm 03:53 PM

python

选择了脚本语言就要忍受其速度，这句话在某种程度上说明了 python 作为脚本的一个不足之处，那就是执行效率和性能不够理想，特别是在 performance 较差的机器上，因此有必要进行一定的代码优化来提高程序的执行效率。如何进行 Python 性能优化，是本文探讨的主要问题。本文会涉及常见的代码优化方法，性能优化工具的使用以及如何诊断代码的性能瓶颈等内容，希望可以给 Python 开发人员一定的参考。

Python 代码优化常见技巧

代码优化能够让程序运行更快，它是在不改变程序运行结果的情况下使得程序的运行效率更高，根据 80/20 原则，实现程序的重构、优化、扩展以及文档相关的事情通常需要消耗 80% 的工作量。优化通常包含两方面的内容：减小代码的体积，提高代码的运行效率。

改进算法，选择合适的数据结构

一个良好的算法能够对性能起到关键作用，因此性能改进的首要点是对算法的改进。在算法的时间复杂度排序上依次是：

O(1) -> O(lg n) -> O(n lg n) -> O(n^2) -> O(n^3) -> O(n^k) -> O(k^n) -> O(n!)

因此如果能够在时间复杂度上对算法进行一定的改进，对性能的提高不言而喻。但对具体算法的改进不属于本文讨论的范围，读者可以自行参考这方面资料。下面的内容将集中讨论数据结构的选择。

字典 (dictionary) 与列表 (list)

Python 字典中使用了 hash table，因此查找操作的复杂度为 O(1)，而 list 实际是个数组，在 list 中，查找需要遍历整个 list，其复杂度为 O(n)，因此对成员的查找访问等操作字典要比 list 更快。

清单 1. 代码 dict.py

 from time import time 
 t = time() 
 list = ['a','b','is','python','jason','hello','hill','with','phone','test', 
'dfdf','apple','pddf','ind','basic','none','baecr','var','bana','dd','wrd'] 
 #list = dict.fromkeys(list,True) 
 print list 
 filter = [] 
 for i in range (1000000): 
	 for find in ['is','hat','new','list','old','.']: 
		 if find not in list: 
			 filter.append(find) 
 print "total run time:"
 print time()-t

上述代码运行大概需要 16.09seconds。如果去掉行 #list = dict.fromkeys(list,True) 的注释，将 list 转换为字典之后再运行，时间大约为 8.375 seconds，效率大概提高了一半。因此在需要多数据成员进行频繁的查找或者访问的时候，使用 dict 而不是 list 是一个较好的选择。

集合 (set) 与列表 (list)

set 的 union， intersection，difference 操作要比 list 的迭代要快。因此如果涉及到求 list 交集，并集或者差的问题可以转换为 set 来操作。

清单 2. 求 list 的交集：

 from time import time 
 t = time() 
 lista=[1,2,3,4,5,6,7,8,9,13,34,53,42,44] 
 listb=[2,4,6,9,23] 
 intersection=[] 
 for i in range (1000000): 
	 for a in lista: 
		 for b in listb: 
			 if a == b: 
				 intersection.append(a) 

 print "total run time:"
 print time()-t

上述程序的运行时间大概为：

 total run time: 
 38.4070000648

清单 3. 使用 set 求交集

 from time import time 
 t = time() 
 lista=[1,2,3,4,5,6,7,8,9,13,34,53,42,44] 
 listb=[2,4,6,9,23] 
 intersection=[] 
 for i in range (1000000): 
	 list(set(lista)&set(listb)) 
 print "total run time:"
 print time()-t

改为 set 后程序的运行时间缩减为 8.75，提高了 4 倍多，运行时间大大缩短。读者可以自行使用表 1 其他的操作进行测试。

表 1. set 常见用法

语法	操作	说明
set(list1) \| set(list2)	union	包含 list1 和 list2 所有数据的新集合
set(list1) & set(list2)	intersection	包含 list1 和 list2 中共同元素的新集合
set(list1) – set(list2)	difference	在 list1 中出现但不在 list2 中出现的元素的集合

对循环的优化

对循环的优化所遵循的原则是尽量减少循环过程中的计算量，有多重循环的尽量将内层的计算提到上一层。下面通过实例来对比循环优化后所带来的性能的提高。程序清单 4 中，如果不进行循环优化，其大概的运行时间约为 132.375。

清单 4. 为进行循环优化前

 from time import time 
 t = time() 
 lista = [1,2,3,4,5,6,7,8,9,10] 
 listb =[0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9,0.01] 
 for i in range (1000000): 
	 for a in range(len(lista)): 
		 for b in range(len(listb)): 
			 x=lista[a]+listb[b] 
 print "total run time:"
 print time()-t

现在进行如下优化，将长度计算提到循环外，range 用 xrange 代替，同时将第三层的计算 lista[a] 提到循环的第二层。

清单 5. 循环优化后

 from time import time 
 t = time() 
 lista = [1,2,3,4,5,6,7,8,9,10] 
 listb =[0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9,0.01] 
 len1=len(lista) 
 len2=len(listb) 
 for i in xrange (1000000): 
	 for a in xrange(len1): 
		 temp=lista[a] 
		 for b in xrange(len2): 
			 x=temp+listb[b] 
 print "total run time:"
 print time()-t

上述优化后的程序其运行时间缩短为 102.171999931。在清单 4 中 lista[a] 被计算的次数为 1000000*10*10，而在优化后的代码中被计算的次数为 1000000*10，计算次数大幅度缩短，因此性能有所提升。

充分利用 Lazy if-evaluation 的特性

python 中条件表达式是 lazy evaluation 的，也就是说如果存在条件表达式 if x and y，在 x 为 false 的情况下 y 表达式的值将不再计算。因此可以利用该特性在一定程度上提高程序效率。

清单 6. 利用 Lazy if-evaluation 的特性

 from time import time 
 t = time() 
 abbreviations = ['cf.', 'e.g.', 'ex.', 'etc.', 'fig.', 'i.e.', 'Mr.', 'vs.'] 
 for i in range (1000000): 
	 for w in ('Mr.', 'Hat', 'is', 'chasing', 'the', 'black', 'cat', '.'): 
		 if w in abbreviations: 
		 #if w[-1] == '.' and w in abbreviations: 
			 pass 
 print "total run time:"
 print time()-t

在未进行优化之前程序的运行时间大概为 8.84，如果使用注释行代替第一个 if，运行的时间大概为 6.17。

字符串的优化

python 中的字符串对象是不可改变的，因此对任何字符串的操作如拼接，修改等都将产生一个新的字符串对象，而不是基于原字符串，因此这种持续的 copy 会在一定程度上影响 python 的性能。对字符串的优化也是改善性能的一个重要的方面，特别是在处理文本较多的情况下。字符串的优化主要集中在以下几个方面：

在字符串连接的使用尽量使用 join() 而不是 +：在代码清单 7 中使用 + 进行字符串连接大概需要 0.125 s，而使用 join 缩短为 0.016s。因此在字符的操作上 join 比 + 要快，因此要尽量使用 join 而不是 +。

清单 7. 使用 join 而不是 + 连接字符串

 from time import time 

 t = time() 
 s = ""
 list = ['a','b','b','d','e','f','g','h','i','j','k','l','m','n'] 
 for i in range (10000): 
	 for substr in list: 
		 s+= substr 	
 print "total run time:"
 print time()-t

同时要避免：

 s = ""
 for x in list: 
    s += func(x)

而是要使用：

 slist = [func(elt) for elt in somelist] 
 s = "".join(slist)

当对字符串可以使用正则表达式或者内置函数来处理的时候，选择内置函数。如 str.isalpha()，str.isdigit()，str.startswith((‘x’, ‘yz’))，str.endswith((‘x’, ‘yz’))

对字符进行格式化比直接串联读取要快，因此要使用

 out = "100db36a723c770d327fc0aef2ce13b1%s%s%s%s73a6ac4ed44ffec12cee46588e518a5e" % (head, prologue, query, tail)

而避免

 out = "100db36a723c770d327fc0aef2ce13b1" + head + prologue + query + tail + "73a6ac4ed44ffec12cee46588e518a5e"

使用列表解析（list comprehension）和生成器表达式（generator expression）

列表解析要比在循环中重新构建一个新的 list 更为高效，因此我们可以利用这一特性来提高运行的效率。

 from time import time 
 t = time() 
 list = [&#39;a&#39;,&#39;b&#39;,&#39;is&#39;,&#39;python&#39;,&#39;jason&#39;,&#39;hello&#39;,&#39;hill&#39;,&#39;with&#39;,&#39;phone&#39;,&#39;test&#39;, 
&#39;dfdf&#39;,&#39;apple&#39;,&#39;pddf&#39;,&#39;ind&#39;,&#39;basic&#39;,&#39;none&#39;,&#39;baecr&#39;,&#39;var&#39;,&#39;bana&#39;,&#39;dd&#39;,&#39;wrd&#39;] 
 total=[] 
 for i in range (1000000): 
	 for w in list: 
		 total.append(w) 
 print "total run time:"
 print time()-t

使用列表解析：

 for i in range (1000000): 
	 a = [w for w in list]

上述代码直接运行大概需要 17s，而改为使用列表解析后，运行时间缩短为 9.29s。将近提高了一半。生成器表达式则是在 2.4 中引入的新内容，语法和列表解析类似，但是在大数据量处理时，生成器表达式的优势较为明显，它并不创建一个列表，只是返回一个生成器，因此效率较高。在上述例子上中代码 a = [w for w in list] 修改为 a = (w for w in list)，运行时间进一步减少，缩短约为 2.98s。

其他优化技巧

如果需要交换两个变量的值使用 a,b=b,a 而不是借助中间变量 t=a;a=b;b=t；

 >>> from timeit import Timer 
 >>> Timer("t=a;a=b;b=t","a=1;b=2").timeit() 
 0.25154118749729365 
 >>> Timer("a,b=b,a","a=1;b=2").timeit() 
 0.17156677734181258 
 >>>

在循环的时候使用 xrange 而不是 range；使用 xrange 可以节省大量的系统内存，因为 xrange() 在序列中每次调用只产生一个整数元素。而 range() 將直接返回完整的元素列表，用于循环时会有不必要的开销。在 python3 中 xrange 不再存在，里面 range 提供一个可以遍历任意长度的范围的 iterator。
使用局部变量，避免”global” 关键字。python 访问局部变量会比全局变量要快得多，因此可以利用这一特性提升性能。
if done is not None 比语句 if done != None 更快，读者可以自行验证；
在耗时较多的循环中，可以把函数的调用改为内联的方式；

使用级联比较 “x 351da6b7d031c8d5a38bee4443e5e34cpypy Python 2.7.2 (0e28b379d8b3, Feb 09 2012, 18:31:47) [PyPy 1.8.0 with MSC v.1500 32 bit] on win32 Type "help", "copyright", "credits" or "license" for more information. And now for something completely different: ``PyPy is vast, and contains multitudes'' >>>>

以清单 5 的循环为例子，使用 python 和 pypy 分别运行，得到的运行结果分别如下：

 C:\Documents and Settings\Administrator\ 桌面 \doc\python>pypy loop.py 
 total run time: 
 8.42199993134 

 C:\Documents and Settings\Administrator\ 桌面 \doc\python>python loop.py 
 total run time: 
 106.391000032

可见使用 pypy 来编译和运行程序，其效率大大的提高。

Cython

Cython 是用 python 实现的一种语言，可以用来写 python 扩展，用它写出来的库都可以通过 import 来载入，性能上比 python 的快。cython 里可以载入 python 扩展 ( 比如 import math)，也可以载入 c 的库的头文件 ( 比如 :cdef extern from “math.h”)，另外也可以用它来写 python 代码。将关键部分重写成 C 扩展模块

Linux Cpython 的安装：

第一步：下载

 [root@v5254085f259 cpython]# wget -N http://cython.org/release/Cython-0.15.1.zip 
 --2012-04-16 22:08:35--  http://cython.org/release/Cython-0.15.1.zip 
 Resolving cython.org... 128.208.160.197 
 Connecting to cython.org|128.208.160.197|:80... connected. 
 HTTP request sent, awaiting response... 200 OK 
 Length: 2200299 (2.1M) [application/zip] 
 Saving to: `Cython-0.15.1.zip'

 100%[======================================>] 2,200,299   1.96M/s   in 1.1s 

 2012-04-16 22:08:37 (1.96 MB/s) - `Cython-0.15.1.zip' saved [2200299/2200299]

第二步：解压

 [root@v5254085f259 cpython]# unzip -o Cython-0.15.1.zip

第三步：安装

 python setup.py install

安装完成后直接输入 cython，如果出现如下内容则表明安装成功。

 [root@v5254085f259 Cython-0.15.1]# cython 
 Cython (http://cython.org) is a compiler for code written in the 
 Cython language.  Cython is based on Pyrex by Greg Ewing. 

 Usage: cython [options] sourcefile.{pyx,py} ... 

 Options: 
  -V, --version                  Display version number of cython compiler 
  -l, --create-listing           Write error messages to a listing file 
  -I, --include-dir <directory>  Search for include files in named directory 
                                 (multiple include directories are allowed). 
  -o, --output-file <filename>   Specify name of generated C file 
  -t, --timestamps               Only compile newer source files 
  -f, --force                    Compile all source files (overrides implied -t) 
  -q, --quiet                    Don&#39;t print module names in recursive mode 
  -v, --verbose                  Be verbose, print file names on multiple compil ation 
  -p, --embed-positions          If specified, the positions in Cython files of each 
  function definition is embedded in its docstring. 
  --cleanup <level> 
  Release interned objects on python exit, for memory debugging. 
    Level indicates aggressiveness, default 0 releases nothing. 
  -w, --working <directory> 
  Sets the working directory for Cython (the directory modules are searched from) 
  --gdb Output debug information for cygdb 
  -D, --no-docstrings 
              Strip docstrings from the compiled module. 
  -a, --annotate 
              Produce a colorized HTML version of the source. 
  --line-directives 
              Produce #line directives pointing to the .pyx source 
  --cplus 
              Output a C++ rather than C file. 
  --embed[=<method_name>] 
              Generate a main() function that embeds the Python interpreter. 
  -2          Compile based on Python-2 syntax and code seman tics. 
  -3          Compile based on Python-3 syntax and code seman tics. 
  --fast-fail     Abort the compilation on the first error 
  --warning-error, -Werror       Make all warnings into errors 
  --warning-extra, -Wextra       Enable extra warnings 
  -X, --directive <name>=<value> 
  [,<name=value,...] Overrides a compiler directive

其他平台上的安装可以参考文档：http://docs.cython.org/src/quickstart/install.html

Cython 代码与 python 不同，必须先编译，编译一般需要经过两个阶段，将 pyx 文件编译为 .c 文件，再将 .c 文件编译为 .so 文件。编译有多种方法：

通过命令行编译：假设有如下测试代码，使用命令行编译为 .c 文件。

 def sum(int a,int b): 
        print a+b 

 [root@v5254085f259 test]# cython sum.pyx 
 [root@v5254085f259 test]# ls 
 total 76 
 4 drwxr-xr-x 2 root root  4096 Apr 17 02:45 . 
 4 drwxr-xr-x 4 root root  4096 Apr 16 22:20 .. 
 4 -rw-r--r-- 1 root root    35 Apr 17 02:45 1 
 60 -rw-r--r-- 1 root root 55169 Apr 17 02:45 sum.c 
 4 -rw-r--r-- 1 root root    35 Apr 17 02:45 sum.pyx

在 linux 上利用 gcc 编译为 .so 文件：

 [root@v5254085f259 test]# gcc -shared -pthread -fPIC -fwrapv -O2 
 -Wall -fno-strict-aliasing -I/usr/include/python2.4 -o sum.so sum.c 
 [root@v5254085f259 test]# ls 
 total 96 
 4 drwxr-xr-x 2 root root  4096 Apr 17 02:47 . 
 4 drwxr-xr-x 4 root root  4096 Apr 16 22:20 .. 
 4 -rw-r--r-- 1 root root    35 Apr 17 02:45 1 
 60 -rw-r--r-- 1 root root 55169 Apr 17 02:45 sum.c 
 4 -rw-r--r-- 1 root root    35 Apr 17 02:45 sum.pyx 
 20 -rwxr-xr-x 1 root root 20307 Apr 17 02:47 sum.so

使用 distutils 编译建立一个 setup.py 的脚本：

 from distutils.core import setup 
 from distutils.extension import Extension 
 from Cython.Distutils import build_ext 

 ext_modules = [Extension("sum", ["sum.pyx"])] 

 setup( 
    name = &#39;sum app&#39;, 
    cmdclass = {&#39;build_ext&#39;: build_ext}, 
    ext_modules = ext_modules 
 ) 

 [root@v5254085f259 test]#  python setup.py build_ext --inplace 
 running build_ext 
 cythoning sum.pyx to sum.c 
 building &#39;sum&#39; extension 
 gcc -pthread -fno-strict-aliasing -fPIC -g -O2 -DNDEBUG -g -fwrapv -O3 
 -Wall -Wstrict-prototypes -fPIC -I/opt/ActivePython-2.7/include/python2.7 
  -c sum.c -o build/temp.linux-x86_64-2.7/sum.o 
 gcc -pthread -shared build/temp.linux-x86_64-2.7/sum.o 
 -o /root/cpython/test/sum.so

编译完成之后可以导入到 python 中使用：

 [root@v5254085f259 test]# python 
 ActivePython 2.7.2.5 (ActiveState Software Inc.) based on 
 Python 2.7.2 (default, Jun 24 2011, 11:24:26) 
 [GCC 4.0.2 20051125 (Red Hat 4.0.2-8)] on linux2 
 Type "help", "copyright", "credits" or "license" for more information. 
 >>> import pyximport; pyximport.install() 
 >>> import sum 
 >>> sum.sum(1,3)

下面来进行一个简单的性能比较：

清单 9. Cython 测试代码

 from time import time 
 def test(int n): 
        cdef int a =0 
        cdef int i 
        for i in xrange(n): 
                a+= i 
        return a 

 t = time() 
 test(10000000) 
 print "total run time:"
 print time()-t

测试结果：

 [GCC 4.0.2 20051125 (Red Hat 4.0.2-8)] on linux2 
 Type "help", "copyright", "credits" or "license" for more information. 
 >>> import pyximport; pyximport.install() 
 >>> import ctest 
 total run time: 
 0.00714015960693

清单 10. Python 测试代码

 from time import time 
 def test(n): 
        a =0; 
        for i in xrange(n): 
                a+= i 
        return a 

 t = time() 
 test(10000000) 
 print "total run time:"
 print time()-t 

 [root@v5254085f259 test]# python test.py 
 total run time: 
 0.971596002579

从上述对比可以看到使用 Cython 的速度提高了将近 100 多倍。

总结

本文初步探讨了 python 常见的性能优化技巧以及如何借助工具来定位和分析程序的性能瓶颈，并提供了相关可以进行性能优化的工具或语言，希望能够更相关人员一些参考。

以上是使用Python性能优化技巧的总结的详细内容。更多信息请关注PHP中文网其他相关文章！

声明

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn

Python的执行模型：编译，解释还是两者？May 10, 2025 am 12:04 AM

pythonisbothCompileDIntered。

Python是按线执行的吗？May 10, 2025 am 12:03 AM

Python不是严格的逐行执行，而是基于解释器的机制进行优化和条件执行。解释器将代码转换为字节码，由PVM执行，可能会预编译常量表达式或优化循环。理解这些机制有助于优化代码和提高效率。

python中两个列表的串联替代方案是什么？May 09, 2025 am 12:16 AM

可以使用多种方法在Python中连接两个列表：1.使用操作符，简单但在大列表中效率低；2.使用extend方法，效率高但会修改原列表；3.使用 =操作符，兼具效率和可读性；4.使用itertools.chain函数，内存效率高但需额外导入；5.使用列表解析，优雅但可能过于复杂。选择方法应根据代码上下文和需求。

Python：合并两个列表的有效方法May 09, 2025 am 12:15 AM

有多种方法可以合并Python列表：1.使用操作符，简单但对大列表不内存高效；2.使用extend方法，内存高效但会修改原列表；3.使用itertools.chain，适用于大数据集；4.使用*操作符，一行代码合并小到中型列表；5.使用numpy.concatenate，适用于大数据集和性能要求高的场景；6.使用append方法，适用于小列表但效率低。选择方法时需考虑列表大小和应用场景。

编译的与解释的语言：优点和缺点May 09, 2025 am 12:06 AM

CompiledLanguagesOffersPeedAndSecurity，而interneterpretledlanguages provideeaseafuseanDoctability.1）commiledlanguageslikec arefasterandSecureButhOnderDevevelmendeclementCyclesclesclesclesclesclesclesclesclesclesclesclesclesclesclesclesclesclesandentency.2）cransportedeplatectentysenty

Python：对于循环，最完整的指南May 09, 2025 am 12:05 AM

Python中，for循环用于遍历可迭代对象，while循环用于条件满足时重复执行操作。1）for循环示例：遍历列表并打印元素。2）while循环示例：猜数字游戏，直到猜对为止。掌握循环原理和优化技巧可提高代码效率和可靠性。

python concatenate列表到一个字符串中May 09, 2025 am 12:02 AM

要将列表连接成字符串，Python中使用join()方法是最佳选择。1)使用join()方法将列表元素连接成字符串，如''.join(my_list)。2)对于包含数字的列表，先用map(str,numbers)转换为字符串再连接。3)可以使用生成器表达式进行复杂格式化，如','.join(f'({fruit})'forfruitinfruits)。4)处理混合数据类型时，使用map(str,mixed_list)确保所有元素可转换为字符串。5)对于大型列表，使用''.join(large_li

Python的混合方法：编译和解释合并May 08, 2025 am 12:16 AM

pythonuseshybridapprace，ComminingCompilationTobyTecoDeAndInterpretation.1）codeiscompiledtoplatform-Indepententbybytecode.2）bytecodeisisterpretedbybythepbybythepythonvirtualmachine，增强效率和通用性。

See all articles