Pythonのメモリ使用量とコードの実行時間を監視する

コードのどの部分が実行に最も時間がかかり、最も多くのメモリを使用しますか?改善点を見つけるにはどうすればよいですか?

私たちのほとんどは、開発中にこれについて知りたいと思っていると思います。この記事では、Python コードの時間とメモリ使用量を監視するいくつかの方法をまとめました。

#この記事では 4 つのメソッドを紹介します。最初の 3 つのメソッドは時間情報を提供し、4 番目のメソッドはメモリ使用量を取得できます。

タイム モジュール
• %%time マジック コマンド
• line_profiler
• memory_profiler

タイム モジュール

これは、コードの実行にかかる時間を計算する最も単純かつ簡単な (ただし手動開発が必要な) 方法です。彼のロジックも非常に単純です。コードの実行前後の時間を記録し、その時間の差を計算します。これは次のようにして実現できます。

import time
 
 start_time = time.time()
 result = 5+2
 end_time = time.time()
 
 print('Time taken = {} sec'.format(end_time - start_time))

次の例は、for ループとリスト内包表記の時間の違いを示しています。

import time
 
 # for loop vs. list comp
 list_comp_start_time = time.time()
 result = [i for i in range(0,1000000)]
 list_comp_end_time = time.time()
 print('Time taken for list comp = {} sec'.format(list_comp_end_time - list_comp_start_time))
 
 result=[]
 for_loop_start_time = time.time()
 for i in range(0,1000000):
 result.append(i)
 for_loop_end_time = time.time()
 print('Time taken for for-loop = {} sec'.format(for_loop_end_time - for_loop_start_time))
 
 list_comp_time = list_comp_end_time - list_comp_start_time
 for_loop_time = for_loop_end_time - for_loop_start_time
 print('Difference = {} %'.format((for_loop_time - list_comp_time)/list_comp_time * 100))

for の方が遅いことは誰もが知っています。

Time taken for list comp = 0.05843973159790039 sec
 Time taken for for-loop = 0.06774497032165527 sec
 Difference = 15.922795107582594 %

%%time Magic コマンド

Magic コマンドは、IPython カーネルに組み込まれている便利なコマンドで、特定のタスクを簡単に実行できます。一般的にはjupyter Notebookで使用されます。

セルの先頭に %%time を追加します。セルの実行が完了すると、セルの実行にかかった時間が出力されます。

%%time
 def convert_cms(cm, unit='m'):
 '''
Function to convert cm to m or feet
'''
 if unit == 'm':
 return cm/100
 return cm/30.48
 
 convert_cms(1000)

結果は次のとおりです:

CPU times: user 24 µs, sys: 1 µs, total: 25 µs
 Wall time: 28.1 µs
 
 Out[8]: 10.0

ここでの CPU 時間は、CPU がコードを処理するのに費やした実際の時間であり、Wall time はリアルタイムです。イベントが終了したこと、メソッドの入口とメソッドの出口の間の時間。

line_profiler

最初の 2 つのメソッドは、メソッドの実行に必要な合計時間のみを提供します。タイム アナライザーを通じて、関数内の各コードの実行時間を取得できます。

ここでは line_profiler パッケージを使用する必要があります。 pip install line_profiler を使用します。

import line_profiler
 
 def convert_cms(cm, unit='m'):
 '''
Function to convert cm to m or feet
'''
 if unit == 'm':
 return cm/100
 return cm/30.48
 
 # Load the profiler
 %load_ext line_profiler
 
 # Use the profiler's magic to call the method
 %lprun -f convert_cms convert_cms(1000, 'f')

出力結果は次のとおりです。

Timer unit: 1e-06 s
 
 Total time: 4e-06 s
 File: /var/folders/y_/ff7_m0c146ddrr_mctd4vpkh0000gn/T/ipykernel_22452/382784489.py
 Function: convert_cms at line 1
 
 Line # Hits Time Per Hit % Time Line Contents
 ==============================================================
1 def convert_cms(cm, unit='m'):
2 '''
3 Function to convert cm to m or feet
4 '''
5 1 2.0 2.0 50.0 if unit == 'm':
6 return cm/100
7 1 2.0 2.0 50.0 return cm/30.48

line_profiler がコードの各行に費やした時間に関する詳細情報を提供していることがわかります。

行の内容: 実行中のコード
• Hits: 行が実行された回数
• Time: かかった合計時間 (つまり、ヒット数) x 時間ごとのヒット数)
• Per Hit: 実行にかかる時間、つまり、Time = Hits X Per Hit
• % Time: 合計時間の割合

はい、コードの各行が時間を詳細に分析していることがわかります。これは時間を分析するのに非常に役立ちます。

memory_profiler

line_profiler と同様に、memory_profiler はコードの行ごとのメモリ使用量を提供します。

これをインストールするには、pip installmemory_profiler を使用する必要があります。ここでは、convert_cms_f 関数のメモリ使用量を監視します。

from conversions import convert_cms_f
 import memory_profiler
 
 %load_ext memory_profiler
 
 %mprun -f convert_cms_f convert_cms_f(1000, 'f')

convert_cms_f 関数は別のファイルで定義され、インポートされます。結果は次のとおりです。

Line # Mem usage Increment Occurrences Line Contents
 =============================================================
1 63.7 MiB 63.7 MiB 1 def convert_cms_f(cm, unit='m'):
2 '''
3 Function to convert cm to m or feet
4 '''
5 63.7 MiB 0.0 MiB 1 if unit == 'm':
6 return cm/100
7 63.7 MiB 0.0 MiB 1 return cm/30.48

memory_profiler は、コードの各行のメモリ使用量に関する詳細な洞察を提供します。

ここでの 1 MiB (MebiByte) は 1MB にほぼ等しいです。 1 MiB = 1.048576 1MB

ただし、me​​mory_profiler にはいくつかの欠点もあります: オペレーティング システムのメモリをクエリするため、結果は Python インタープリタとは若干異なる場合があります。セッション内で %mprun を複数回実行すると、測定列には、すべてのコード行に対して 0.0 MiB が報告されます。これは、マジック コマンドの制限によるものです。

memory_profiler にはいくつかの問題もありますが、メモリの使用状況を明確に把握できるため、開発には非常に便利なツールです。

概要

Python は実行効率が高いことで知られる言語ではありませんが、特殊な場合にはこれらのコマンドが非常に役に立ちます。

以上がPythonのメモリ使用量とコードの実行時間を監視するの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。