python数据挖掘易触发swap而非oom killer，因其内存增长渐进碎片化，内核优先换出匿名页（如list、dict、dataframe堆内存），尤其当vm.swappiness>0且物理内存未耗尽时，导致i/o卡顿而非报错。
Python数据挖掘为什么容易触发Swap而不是OOM Killer
因为Python进程的内存增长是渐进、碎片化的，内核会优先把匿名页（比如list、dict、pandas.DataFrame堆内存）换出到Swap，尤其当vm.swappiness > 0 且物理内存还没彻底耗尽时。它不会立刻报MemoryError，而是表现为CPU等待I/O卡顿、响应延迟飙升——你看到的是“程序变慢”，不是“报错退出”。
典型场景：用pandas.read_csv()加载2GB CSV后不做del，再跑groupby + apply，RSS悄悄涨到1.8G（2G机器），系统就开始频繁换页。
- Python不感知Swap，所以不会主动限流或释放
-
sys.getsizeof()只算对象头，完全无法反映真实RSS，别信它 -
gc.collect()对大数组无效，必须配合del和显式清空引用链
Linux下配置Swap大小的实操步骤（非容器环境）
Swap不是越大越好，盲目设4G可能让I/O拖垮整机。重点是匹配你的物理内存和工作负载峰值：
- 2G内存服务器：建议
CONF_SWAPSIZE=2048（树莓派系）或直接dd if=/dev/zero of=/swapfile bs=1G count=2创建2G文件 - 4G+内存但跑ComfyUI/PyTorch训练：可设
count=4，但务必同步调低swappiness - 执行完
mkswap /swapfile和swapon /swapfile后，用free -h确认是否生效 - 永久生效要写入
/etc/fstab：/swapfile none swap sw 0 0
注意：swapon失败常见原因是文件权限不对——必须chmod 600 /swapfile，否则内核拒绝挂载。
安全 Python 代码沙箱：在隔离的沙箱中执行任意 Python 代码，预装 requests、NumPy、pandas 库。返回 stdout、stderr。
必须同步调整的两个关键内核参数
光配Swap大小没用，不调参数等于白配。核心就两个：
-
vm.swappiness=1：写入/proc/sys/vm/swappiness或sysctl.conf。值为1表示“除非物理内存只剩1%了，否则别碰Swap”，避免日常换页 -
vm.vfs_cache_pressure=50：默认是100，太高会导致dentry/inode缓存被过度回收，间接加剧Swap压力；50更平衡
验证是否生效：cat /proc/sys/vm/swappiness。别用echo 1 > /proc/sys/vm/swappiness临时改完就跑脚本——重启后失效，得写进/etc/sysctl.conf并sysctl -p。
Python进程内如何主动防Swap卡死
靠OS参数兜底不够，得在代码里加水位线干预。重点不是“不让用Swap”，而是“别等Swap深陷才反应”：
- 用
psutil.Process().memory_info().rss每100次迭代检查一次，软上限设为物理内存的75% - 超限时立刻
del big_df+gc.collect(2)+time.sleep(0.1)，给OS时间回收页面 - 禁用
read_csv的dtype自动推断，显式指定dtype={'col': 'category'}或'int32'，省50%内存 - 别用
df.copy()，改用df.loc[:, ['a','b']]按需切片
最易被忽略的一点：生成器本身不防Swap，yield之后如果上游DataFrame还被闭包或全局变量引用着，它根本不会被释放——del必须出现在yield之后、下一个chunk加载之前。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
