So geben Sie Python-Speicher manuell frei

Bei der oben genannten Optimierung werden für jeweils 500 Benutzer einige Berechnungen durchgeführt und die Ergebnisse in einer Festplattendatei aufgezeichnet. Ich dachte ursprünglich, dass diese Ergebnisse dadurch in der Festplattendatei gespeichert würden und keinen weiteren Speicher belegen würden, aber tatsächlich besteht die große Gefahr von Python darin, dass Python diese Speicher nicht automatisch bereinigt. Dies wird durch die eigene Implementierung bestimmt. Es gibt viele Artikel im Internet, die die spezifischen Gründe erläutern, daher werde ich sie hier nicht kopieren.
In diesem Artikel wird ein experimentelles Skript des Autors veröffentlicht, um zu veranschaulichen, dass Python ein solches Phänomen aufweist, bei dem kein Speicher freigegeben wird. Darüber hinaus wird auch eine Lösung vorgeschlagen, nämlich zuerst del und dann explizit gc.collect( aufruft. ). Skript Siehe unten für spezifische Effekte.
Experimentelle Umgebung eins: Win 7, Python 2.7

from time import sleep, time 
import gc 
 
def mem(way=1): 
 print time() 
 for i in range(10000000): 
  if way == 1: 
   pass 
  else: # way 2, 3 
   del i 
    
 print time() 
 if way == 1 or way == 2: 
  pass 
 else: # way 3 
  gc.collect() 
 print time() 
   
if __name__ == "__main__": 
 print "Test way 1: just pass" 
 mem(way=1) 
 sleep(20) 
 print "Test way 2: just del" 
 mem(way=2) 
 sleep(20) 
 print "Test way 3: del, and then gc.collect()" 
 mem(way=3) 
 sleep(20)

Die laufenden Ergebnisse sind wie folgt:

Test way 1: just pass 
1426688589.47 
1426688590.25 
1426688590.25 
Test way 2: just del 
1426688610.25 
1426688611.05 
1426688611.05 
Test way 3: del, and then gc.collect() 
1426688631.05 
1426688631.85 
1426688631.95

Für Bei Weg 1 und Weg 2 ist das Ergebnis genau das Gleiche. Der Spitzenspeicherverbrauch des Programms beträgt 20 Sekunden lang.
Bei Weg 3 beträgt der Spitzenspeicherverbrauch Die Funktionsweise des Programms ist die gleiche wie oben, der Echtzeitspeicherverbrauch im Ruhezustand beträgt jedoch nur 6336 KB.
Experimentelle Umgebung zwei: Ubuntu 14.10, Python 2.7.3
Laufende Ergebnisse:

Test way 1: just pass 
1426689577.46 
1426689579.41 
1426689579.41 
Test way 2: just del 
1426689599.43 
1426689601.1 
1426689601.1 
Test way 3: del, and then gc.collect() 
1426689621.12 
1426689622.8 
1426689623.11

ubuntu@my_machine:~$ ps -aux | grep test_mem 
Warning: bad ps syntax, perhaps a bogus '-'? See http://procps.sf.net/faq.html 
ubuntu 9122 10.0 6.0 270916 245564 pts/1 S+ 14:39 0:03 python test_mem.py 
ubuntu 9134 0.0 0.0 8104 924 pts/2 S+ 14:40 0:00 grep --color=auto test_mem 
ubuntu@my_machine:~$ ps -aux | grep test_mem 
Warning: bad ps syntax, perhaps a bogus '-'? See http://procps.sf.net/faq.html 
ubuntu 9122 10.0 6.0 270916 245564 pts/1 S+ 14:39 0:03 python test_mem.py 
ubuntu 9134 0.0 0.0 8104 924 pts/2 S+ 14:40 0:00 grep --color=auto test_mem 
ubuntu@my_machine:~$ ps -aux | grep test_mem 
Warning: bad ps syntax, perhaps a bogus '-'? See http://procps.sf.net/faq.html 
ubuntu 9122 11.6 0.1 30956 5608 pts/1 S+ 14:39 0:05 python test_mem.py

Schlussfolgerung:
Die obige Beschreibung, Wenn del aufgerufen wird, gibt Python den Speicher nicht tatsächlich frei, sondern platziert ihn weiterhin in seinem Speicherpool. Der Speicher wird nur freigegeben, wenn gc.collect() explizit aufgerufen wird.
Weiter:
Kehren Sie tatsächlich zum Skript des vorherigen Blogs zurück und lassen Sie es gc.collect() einführen, und schreiben Sie dann ein Überwachungsskript, um den Speicherverbrauch zu überwachen:

while ((1)); do ps -aux | sort -n -k5,6 | grep my_script; free; sleep 5; done

Es wurde festgestellt, dass der Speicher nicht wiederhergestellt wird, nachdem jede Gruppe von 500 Benutzern ausgeführt wurde, sondern weiterhin verbraucht wird, bis nur noch etwa 70 MB übrig sind, und gc scheint zu funktionieren. In dieser Umgebung verwendet die Maschine eine Cloud-Instanz, der Gesamtspeicher beträgt 2 GB und der verfügbare Speicher beträgt etwa 1 GB. Der allgemeine Speicherverbrauch dieses Skripts beträgt 900 MB bis 1 GB. Mit anderen Worten, für dieses Skript wird gc nicht sofort wirksam, aber wenn der verfügbare Speicher des Systems von 1 bis 1,2 GB auf nur etwa 70 MB sinkt, beginnt gc wirksam zu werden. Das ist in der Tat seltsam. Ich weiß nicht, ob es etwas damit zu tun hat, dass das Skript gc.collect() in Thread verwendet, oder ob die Funktion von gc überhaupt nicht kontrollierbar ist. Der Autor hat noch keine relevanten Experimente durchgeführt und wird dies möglicherweise im nächsten Blog weiter diskutieren.
Es ist jedoch sicher, dass das ursprüngliche Skript den Systemspeicher erschöpft und abstürzt, wenn gc.collect() nicht verwendet wird. Dies geht aus dem Syslog hervor.

Das obige ist der detaillierte Inhalt vonSo geben Sie Python-Speicher manuell frei. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!