監控 Python 記憶體使用量和程式碼執行時間

我的程式碼的哪些部分運行時間最長、記憶體最多？我怎麼才能找到需要改進的地方？

在開發過程中，我很確定我們大多數人都會想知道這一點，在本文中總結了一些方法來監控 Python 程式碼的時間和記憶體使用情況。

本文將介紹4種方法，前3種方法提供時間信息，第4個方法可以獲得記憶體使用情況。

• time 模組
• %%time 魔法指令
• line_profiler
• memory_profiler

time 模組

這是計算程式碼運行所需時間的最簡單、最直接(但需要手動開發)的方法。他的邏輯也很簡單:記錄程式碼運行之前和之後的時間，計算時間之間的差異。這可以實現如下:

import time
 
 start_time = time.time()
 result = 5+2
 end_time = time.time()
 
 print('Time taken = {} sec'.format(end_time - start_time))

下面的範例顯示了for迴圈和列表推導式在時間上的差異:

import time
 
 # for loop vs. list comp
 list_comp_start_time = time.time()
 result = [i for i in range(0,1000000)]
 list_comp_end_time = time.time()
 print('Time taken for list comp = {} sec'.format(list_comp_end_time - list_comp_start_time))
 
 result=[]
 for_loop_start_time = time.time()
 for i in range(0,1000000):
 result.append(i)
 for_loop_end_time = time.time()
 print('Time taken for for-loop = {} sec'.format(for_loop_end_time - for_loop_start_time))
 
 list_comp_time = list_comp_end_time - list_comp_start_time
 for_loop_time = for_loop_end_time - for_loop_start_time
 print('Difference = {} %'.format((for_loop_time - list_comp_time)/list_comp_time * 100))

我們都知道for會慢一些。

Time taken for list comp = 0.05843973159790039 sec
 Time taken for for-loop = 0.06774497032165527 sec
 Difference = 15.922795107582594 %

%%time 魔法指令

魔法指令是IPython核心內建的方便指令，可以方便執行特定的任務。一般情況下都實在jupyter notebook種使用。

在儲存格的開頭新增%%time ，儲存格執行完成後，會輸出儲存格執行所花費的時間。

%%time
 def convert_cms(cm, unit='m'):
 '''
Function to convert cm to m or feet
'''
 if unit == 'm':
 return cm/100
 return cm/30.48
 
 convert_cms(1000)

結果如下：

CPU times: user 24 µs, sys: 1 µs, total: 25 µs
 Wall time: 28.1 µs
 
 Out[8]: 10.0

這裡的CPU times是CPU處理程式碼所花費的實際時間，Wall time是事件經過的真實時間，在方法入口和方法出口之間的時間。

line_profiler

前兩個方法只提供執行該方法所需的總時間。透過時間分析器我們可以獲得函數中每一個程式碼的運行時間。

這裡我們需要使用line_profiler套件。使用pip install line_profiler。

import line_profiler
 
 def convert_cms(cm, unit='m'):
 '''
Function to convert cm to m or feet
'''
 if unit == 'm':
 return cm/100
 return cm/30.48
 
 # Load the profiler
 %load_ext line_profiler
 
 # Use the profiler's magic to call the method
 %lprun -f convert_cms convert_cms(1000, 'f')

輸出結果如下：

Timer unit: 1e-06 s
 
 Total time: 4e-06 s
 File: /var/folders/y_/ff7_m0c146ddrr_mctd4vpkh0000gn/T/ipykernel_22452/382784489.py
 Function: convert_cms at line 1
 
 Line # Hits Time Per Hit % Time Line Contents
 ==============================================================
1 def convert_cms(cm, unit='m'):
2 '''
3 Function to convert cm to m or feet
4 '''
5 1 2.0 2.0 50.0 if unit == 'm':
6 return cm/100
7 1 2.0 2.0 50.0 return cm/30.48

可以看到line_profiler提供了每行程式碼所花費時間的詳細資訊。

• Line Contents :運行的程式碼
• Hits:行被執行的次數
• Time:所花費的總時間(即命中次數x每次命中次數)
• Per Hit:一次執行花費的時間，也就是說Time =  Hits X Per Hit
• % Time:佔總時間的比例

##可以看到，每一行程式碼都詳細的分析了時間，這對於我們分析時間相當的有幫助。

memory_profiler

與line_profiler類似，memory_profiler提供程式碼的逐行記憶體使用量。

要安裝它需要使用pip install memory_profiler。我們這裡監視convert_cms_f函數的記憶體使用情況。

from conversions import convert_cms_f
 import memory_profiler
 
 %load_ext memory_profiler
 
 %mprun -f convert_cms_f convert_cms_f(1000, 'f')

convert_cms_f函數在單獨的檔案中定義，然後匯入。結果如下：

Line # Mem usage Increment Occurrences Line Contents
 =============================================================
1 63.7 MiB 63.7 MiB 1 def convert_cms_f(cm, unit='m'):
2 '''
3 Function to convert cm to m or feet
4 '''
5 63.7 MiB 0.0 MiB 1 if unit == 'm':
6 return cm/100
7 63.7 MiB 0.0 MiB 1 return cm/30.48

memory_profiler 提供對每行程式碼記憶體使用量的詳細了解。

這裡的1 MiB (MebiByte) 幾乎等於 1MB。 1 MiB  = 1.048576 1MB

但是memory_profiler 也有一些缺點：它透過查詢作業系統內存，所以結果可能與python 解釋器略有不同，如果在會話中多次運行%mprun，可能會注意到增量列報告所有代碼行為0.0 MiB。這是因為魔法命令的限制所導致的。

雖然memory_profiler有一些問題，但是它就讓我們能夠清楚地了解記憶體使用情況，對於開發來說是一個非常好用的工具。

總結

雖然Python並不是一個以執行效率見長的語言，但是在某些特殊情況下這些指令對我們還是非常有幫助的。

以上是監控 Python 記憶體使用量和程式碼執行時間的詳細內容。更多資訊請關注PHP中文網其他相關文章！