Die Verwendung einer zu langen Liste in Python führt zu einer übermäßigen Speichernutzung

Question

Ich muss in einem Programm eine Liste mit einer Länge von mehr als 500.000 verwenden, aber das Ergebnis ist, dass die Speichernutzung sofort ansteigt

Welche Methode sollte zur Optimierung verwendet werden?

Answer 1

这个 list 一定要放在内存里吗？

如果你是一条一条处理的，并不需要全在内存，你可以把这些内容先写到磁盘文件，然后打开它，用类似下面的语句：

for item in file('xxx.txt').xreadlines():
    ... # 解析出你的内容，并处理