内存优化是处理大规模数组数据的关键，需减少冗余存储、避免全量加载、按需存在：精准控制数据类型、分块/映射式读取、适配内存布局、及时释放对象并监控内存。
处理大规模数组数据时，内存优化不是“选做题”，而是决定程序能否跑通的关键。核心思路是：减少冗余存储、避免全量加载、让数据按需存在。
精准控制数据类型
NumPy和Pandas默认用64位类型，但多数场景根本不需要。比如用户ID用int32足够覆盖42亿；布尔字段用bool而非int64，能省7/8空间；浮点计算若无高精度要求，float32比float64直接减半内存。
- 读取CSV时就指定
dtype，避免后续转换开销 - 对字符串列高频重复值（如城市、状态），转为
'category'类型，底层存整数编码，压缩率常达70%以上 - 用
df.memory_usage(deep=True)定期检查各列真实占用，针对性优化
避免一次性加载
当数组尺寸远超物理内存（例如10GB矩阵），硬加载必然OOM。此时应绕过“全量驻留”思维，改用流式或映射式访问。
- 用
np.memmap创建内存映射文件，只在访问具体切片时才从磁盘加载，支持TB级数组的随机读写 - 分块处理：设定固定行数（如
chunksize=50000）循环读取+计算+释放，中间结果不累积 - 生成器替代列表：对逐元素加工逻辑（如日志解析、归一化），用
yield逐个产出，内存占用可从MB级降至KB级
调整内存布局适配计算模式
数组在内存中是连续排列的，但“怎么排”影响极大。C-order（行优先）适合按行遍历，F-order（列优先）适合列聚合——错配会导致缓存失效，性能跌穿10倍。
- 若频繁做
arr.sum(axis=0)、arr.mean(axis=0)等列操作，优先用np.asfortranarray()构造F-order数组 - 图像处理、逐行扫描类任务，保持默认C-order更高效
- 动态切换布局可用
np.ascontiguousarray()（转C）或np.asfortranarray()（转F），但注意约15%拷贝成本，避免高频调用
及时释放与预防泄漏
Python不会自动清掉“不用但还被引用”的对象。尤其在长循环或反复构造数组时，残留引用会快速吃光内存。
- 明确不再需要的变量，用
del arr立即解除引用 - 调用
gc.collect()强制触发垃圾回收（尤其在大块数据处理完后） - 警惕循环引用：自定义类中避免
a.ref = b且b.ref = a，否则引用计数无法归零 - 用
psutil.Process().memory_info().rss监控进程实际内存，比估算更可靠
