Python 메모리를 수동으로 해제하는 방법

위 최적화에서는 사용자 500명마다 일부 계산이 수행되고 결과가 디스크 파일에 기록됩니다. 나는 원래 이렇게 하면 이러한 결과가 디스크 파일에 저장되고 메모리를 계속 차지하지 않을 것이라고 생각했습니다. 그러나 실제로 Python의 가장 큰 함정은 Python이 이러한 메모리를 자동으로 정리하지 않는다는 것입니다. 이는 자체 구현에 의해 결정됩니다. 구체적인 이유를 설명하는 글은 인터넷에 많이 있으므로 여기에는 복사하지 않겠습니다.
이 기사에서는 Python에 메모리를 해제하지 않는 현상이 있음을 설명하기 위해 저자가 작성한 실험 스크립트를 게시합니다. 또한 해결책도 제안됩니다. 즉, 먼저 del을 사용한 다음 명시적으로 gc.collect(를 호출합니다. ).스크립트 구체적인 효과는 아래를 참조하세요.
실험환경 1 : Win 7, Python 2.7

from time import sleep, time 
import gc 
 
def mem(way=1): 
 print time() 
 for i in range(10000000): 
  if way == 1: 
   pass 
  else: # way 2, 3 
   del i 
    
 print time() 
 if way == 1 or way == 2: 
  pass 
 else: # way 3 
  gc.collect() 
 print time() 
   
if __name__ == "__main__": 
 print "Test way 1: just pass" 
 mem(way=1) 
 sleep(20) 
 print "Test way 2: just del" 
 mem(way=2) 
 sleep(20) 
 print "Test way 3: del, and then gc.collect()" 
 mem(way=3) 
 sleep(20)

실행 결과는 다음과 같습니다.

Test way 1: just pass 
1426688589.47 
1426688590.25 
1426688590.25 
Test way 2: just del 
1426688610.25 
1426688611.05 
1426688611.05 
Test way 3: del, and then gc.collect() 
1426688631.05 
1426688631.85 
1426688631.95

way 1과 way의 경우 2, 결과는 똑같습니다. 프로그램의 최대 메모리 소모량은 326772KB입니다. 20초 동안 잠자기 상태일 때의 실시간 메모리 소모량은 244820KB입니다.
방법 3의 경우 프로그램의 최대 메모리 소모량은 입니다. 위와 동일하지만 절전 중 실시간 메모리 소비는 6336KB에 불과합니다.
실험 환경 2: Ubuntu 14.10, Python 2.7.3
실행 결과:

Test way 1: just pass 
1426689577.46 
1426689579.41 
1426689579.41 
Test way 2: just del 
1426689599.43 
1426689601.1 
1426689601.1 
Test way 3: del, and then gc.collect() 
1426689621.12 
1426689622.8 
1426689623.11

rrree

결론:
위는 del이 호출될 때, 실제로 Python은 실제로 메모리를 해제하지 않지만 계속해서 메모리 풀에 메모리를 배치합니다. 메모리는 gc.collect()가 명시적으로 호출될 때만 해제됩니다.
추가:
사실 이전 블로그의 스크립트로 돌아가서 gc.collect()를 도입하도록 한 다음 메모리 소비를 모니터링하는 모니터링 스크립트를 작성하세요.

ubuntu@my_machine:~$ ps -aux | grep test_mem 
Warning: bad ps syntax, perhaps a bogus '-'? See http://procps.sf.net/faq.html 
ubuntu 9122 10.0 6.0 270916 245564 pts/1 S+ 14:39 0:03 python test_mem.py 
ubuntu 9134 0.0 0.0 8104 924 pts/2 S+ 14:40 0:00 grep --color=auto test_mem 
ubuntu@my_machine:~$ ps -aux | grep test_mem 
Warning: bad ps syntax, perhaps a bogus '-'? See http://procps.sf.net/faq.html 
ubuntu 9122 10.0 6.0 270916 245564 pts/1 S+ 14:39 0:03 python test_mem.py 
ubuntu 9134 0.0 0.0 8104 924 pts/2 S+ 14:40 0:00 grep --color=auto test_mem 
ubuntu@my_machine:~$ ps -aux | grep test_mem 
Warning: bad ps syntax, perhaps a bogus '-'? See http://procps.sf.net/faq.html 
ubuntu 9122 11.6 0.1 30956 5608 pts/1 S+ 14:39 0:05 python test_mem.py

결과 각 500명의 사용자 그룹이 실행된 후 메모리가 복원되지 않고 약 70MB 정도 남을 때까지 계속 소모되는 것으로 확인되었으며 gc가 작동하는 것으로 보입니다. 이 환경에서 머신은 클라우드 인스턴스를 사용하고 총 메모리는 2G이며 사용 가능한 메모리는 약 1G입니다. 이 스크립트의 일반적인 메모리 소비는 900M - 1G입니다. 즉, 이 스크립트의 경우 gc가 즉시 적용되지 않지만 시스템의 사용 가능한 메모리가 1~1.2G에서 약 70M로 떨어지면 gc가 적용되기 시작합니다. 이것은 정말 이상합니다. 스크립트가 Thread에서 gc.collect()를 사용한다는 사실과 관련이 있는지, 아니면 애초에 gc의 기능을 제어할 수 없는 것인지는 모르겠습니다. 저자는 아직 관련 실험을 해본 적이 없으며, 다음 블로그에서 계속해서 논의할 수도 있습니다.
그러나 gc.collect()를 사용하지 않으면 원본 스크립트가 시스템 메모리를 모두 소모하여 종료될 것은 확실합니다. 이는 syslog를 보면 알 수 있습니다.

위 내용은 Python 메모리를 수동으로 해제하는 방법의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!