Comment puis-je profiler l'utilisation de la mémoire dans le code Python ?

Comment profiler l'utilisation de la mémoire en Python

Lors de l'exploration d'algorithmes en implémentant des versions naïves et en les optimisant, l'analyse de l'utilisation de la mémoire peut être cruciale. Python 3.4 introduit le module tracemalloc, offrant des informations détaillées sur les segments de code qui allouent le plus de mémoire.

Utilisation de tracemalloc

import tracemalloc

tracemalloc.start()

# Code to profile...

snapshot = tracemalloc.take_snapshot()

# Display top memory-consuming lines
top_stats = snapshot.statistics('lineno')
for index, stat in enumerate(top_stats[:3], 1):
    frame = stat.traceback[0]
    print(f"#{index}: {frame.filename}:{frame.lineno}: {stat.size / 1024:.1f} KiB")

Exemple

Profilage de l'utilisation de la mémoire en comptant les préfixes dans une liste de mots de l'anglais américain dictionnaire :

import tracemalloc
import linecache
import os

tracemalloc.start()

words = list(open('/usr/share/dict/american-english'))

counts = Counter()
for word in words:
    prefix = word[:3]
    counts[prefix] += 1

snapshot = tracemalloc.take_snapshot()
display_top(snapshot)

Sortie

Top 3 lines
#1: scratches/memory_test.py:37: 6527.1 KiB
    words = list(words)
#2: scratches/memory_test.py:39: 247.7 KiB
    prefix = word[:3]
#3: scratches/memory_test.py:40: 193.0 KiB
    counts[prefix] += 1
4 other: 4.3 KiB
Total allocated size: 6972.1 KiB

Gestion du code qui libère de la mémoire

Si une fonction alloue beaucoup de mémoire puis libère tout, ce n'est pas techniquement une fuite mais consomme quand même une mémoire excessive. Pour en tenir compte, il est nécessaire de prendre des instantanés pendant l'exécution de la fonction ou d'utiliser un thread séparé pour surveiller l'utilisation de la mémoire.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!